WO2020225979A1 - 情報処理装置、情報処理方法、プログラム、及び情報処理システム - Google Patents
情報処理装置、情報処理方法、プログラム、及び情報処理システム Download PDFInfo
- Publication number
- WO2020225979A1 WO2020225979A1 PCT/JP2020/011395 JP2020011395W WO2020225979A1 WO 2020225979 A1 WO2020225979 A1 WO 2020225979A1 JP 2020011395 W JP2020011395 W JP 2020011395W WO 2020225979 A1 WO2020225979 A1 WO 2020225979A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- image
- information processing
- information
- processing device
- scanning
- Prior art date
Links
- 230000010365 information processing Effects 0.000 title claims abstract description 109
- 238000003672 processing method Methods 0.000 title claims description 13
- 230000033001 locomotion Effects 0.000 claims description 80
- 230000007613 environmental effect Effects 0.000 claims description 9
- 238000000034 method Methods 0.000 abstract description 29
- 238000006073 displacement reaction Methods 0.000 abstract 1
- 230000006870 function Effects 0.000 description 35
- 238000004891 communication Methods 0.000 description 31
- 238000005516 engineering process Methods 0.000 description 29
- 238000010586 diagram Methods 0.000 description 24
- 238000012545 processing Methods 0.000 description 14
- 238000003384 imaging method Methods 0.000 description 13
- 238000004422 calculation algorithm Methods 0.000 description 10
- 230000009471 action Effects 0.000 description 9
- 230000010391 action planning Effects 0.000 description 8
- 230000005540 biological transmission Effects 0.000 description 8
- 238000001514 detection method Methods 0.000 description 6
- 238000010801 machine learning Methods 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 230000000717 retained effect Effects 0.000 description 6
- 230000000694 effects Effects 0.000 description 5
- PEDCQBHIVMGVHV-UHFFFAOYSA-N Glycerine Chemical group OCC(O)CO PEDCQBHIVMGVHV-UHFFFAOYSA-N 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 4
- 230000008859 change Effects 0.000 description 4
- 230000004044 response Effects 0.000 description 3
- 238000010845 search algorithm Methods 0.000 description 3
- 238000004088 simulation Methods 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000005401 electroluminescence Methods 0.000 description 2
- 230000005484 gravity Effects 0.000 description 2
- 230000014759 maintenance of location Effects 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000005856 abnormality Effects 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
- 238000013138 pruning Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/0011—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
- G05D1/0038—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement by providing the operator with simple or augmented images from one or more cameras located onboard the vehicle, e.g. tele-operation
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
- B64U20/00—Constructional aspects of UAVs
- B64U20/80—Arrangement of on-board electronics, e.g. avionics systems or wiring
- B64U20/87—Mounting of imaging devices, e.g. mounting of gimbals
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/20—Instruments for performing navigational calculations
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/0094—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots involving pointing a payload, e.g. camera, weapon, sensor, towards a fixed or moving target
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/10—Simultaneous control of position or course in three dimensions
- G05D1/101—Simultaneous control of position or course in three dimensions specially adapted for aircraft
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G5/00—Traffic control systems for aircraft, e.g. air-traffic control [ATC]
- G08G5/0004—Transmission of traffic-related information to or from an aircraft
- G08G5/0013—Transmission of traffic-related information to or from an aircraft with a ground station
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G5/00—Traffic control systems for aircraft, e.g. air-traffic control [ATC]
- G08G5/0017—Arrangements for implementing traffic-related aircraft activities, e.g. arrangements for generating, displaying, acquiring or managing traffic information
- G08G5/0026—Arrangements for implementing traffic-related aircraft activities, e.g. arrangements for generating, displaying, acquiring or managing traffic information located on the ground
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G5/00—Traffic control systems for aircraft, e.g. air-traffic control [ATC]
- G08G5/003—Flight plan management
- G08G5/0034—Assembly of a flight plan
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G5/00—Traffic control systems for aircraft, e.g. air-traffic control [ATC]
- G08G5/0047—Navigation or guidance aids for a single aircraft
- G08G5/0069—Navigation or guidance aids for a single aircraft specially adapted for an unmanned aircraft
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
- B64U10/00—Type of UAV
- B64U10/10—Rotorcrafts
- B64U10/13—Flying platforms
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
- B64U2101/00—UAVs specially adapted for particular uses or applications
- B64U2101/30—UAVs specially adapted for particular uses or applications for imaging, photography or videography
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
- B64U2201/00—UAVs characterised by their flight controls
- B64U2201/10—UAVs characterised by their flight controls autonomous, i.e. by navigating independently from ground or air stations, e.g. by using inertial navigation systems [INS]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
Definitions
- This technology relates to information processing devices, information processing methods, programs, and information processing systems that can be applied to control the autonomous movement of moving objects.
- Patent Document 1 discloses a technique for simulating a moving route of an aircraft or the like that performs aerial photogrammetry.
- a shooting course in which shooting conditions such as a focal length and a threshold value regarding the size of a non-projectable region are set is input to a computer.
- the size of the area in the set shooting course exceeds the threshold value the area is determined to be a non-projectable area. If the determined non-projectable area occupies a large proportion of the shooting course, it is determined that the shooting course is not appropriate for simulation.
- a shooting course that can take an effective aerial photograph at one time is set up, so that inexpensive and accurate aerial photogrammetry is possible (Patent Document 1 specification paragraph [0013]. ] [0028] FIGS. 1, 3 etc.).
- the purpose of the present technology is to provide an information processing device, an information processing method, a program, and an information processing system capable of generating plan information regarding the movement and shooting of a moving body having a shooting function. To provide.
- the information processing apparatus includes an acquisition unit, an image generation unit, and a presentation unit.
- the acquisition unit acquires image data relating to a predetermined area on the map.
- the image generation unit Based on the image data, the image generation unit generates a predicted image that is predicted to be acquired when shooting is performed in the predetermined area.
- the presenting unit presents the predicted image based on an instruction regarding the movement of a moving body having a photographing function within the predetermined region and the generation of planning information regarding photographing.
- image data relating to a predetermined area on the map is acquired. Based on the image data, a predicted image that is predicted to be acquired when shooting is performed within a predetermined area is generated. The predicted image is presented based on an instruction regarding movement of a moving body having a photographing function within a predetermined area and generation of planning information regarding photographing. As a result, it is possible to generate planning information regarding the movement and shooting of a moving body having a shooting function.
- the presenting unit may output a GUI (Graphical User Interface) including the predicted image for inputting an instruction regarding the generation of the plan information.
- GUI Graphic User Interface
- the image generation unit may generate the predicted image based on an instruction regarding at least one of the position in the predetermined region or the shooting condition.
- the shooting condition may include at least one of the shooting direction, the shooting time, or the environmental information regarding the predetermined area.
- the image generation unit may generate the predicted image in which the object is photographed based on an instruction to select an object existing in the predetermined region.
- the image generation unit may generate the predicted image based on the predicted image generation rule regarding the instruction to select the object.
- At least one of the classification information for classifying the object and the information associated with the classification information, the shooting position relative to the object or the display state of the object in the predicted image. Information may be included.
- the image generation unit generates a prediction candidate image based on the position information of the selected object, and evaluates the prediction candidate image with respect to the display state of the object in the prediction image.
- a predicted image may be generated.
- the information processing device may further include a plan generation unit that generates the plan information based on the input instruction regarding the generation of the plan information.
- the plan generation unit may generate the plan information based on the presented instruction for selecting the predicted image.
- the plan information may include at least one of a waypoint, travel time, or shooting conditions.
- the image data may be image data acquired by a moving body for scanning having a photographing function taking a picture while scanning in the predetermined area.
- the image data may include spherical image data.
- the information processing device may further include a control unit that controls the movement of the moving body having the photographing function and the operation related to the photographing based on the planning information.
- the information processing device may further include a scanning generation unit that generates scanning planning information regarding scanning and photographing in the predetermined region of the scanning moving body.
- the scanning plan information may include cost information regarding the scanning route.
- the cost information may be generated based on the scanning paths taken in the past.
- the information processing method is an information processing method executed by a computer system, and includes acquiring image data relating to a predetermined area on a map. Based on the image data, a predicted image that is predicted to be acquired when shooting is performed within the predetermined area is generated. The predicted image is presented based on an instruction regarding the movement of a moving body having a photographing function within the predetermined area and the generation of planning information regarding photographing.
- a program causes a computer system to perform the following steps.
- the information processing system related to one form of the present technology includes an information processing device and a mobile body.
- the information processing device has an acquisition unit, an image generation unit, a presentation unit, and a plan generation unit.
- the acquisition unit acquires image data relating to a predetermined area on the map. Based on the image data, the image generation unit generates a predicted image that is predicted to be acquired when shooting is performed in the predetermined area.
- the presenting unit presents the predicted image based on an instruction regarding the movement of a moving body having a photographing function within the predetermined region and the generation of planning information regarding photographing.
- the plan generation unit generates the plan information based on the input instruction regarding the generation of the plan information.
- the moving body has a photographing unit, and based on the planning information generated by the information processing apparatus, the moving body performs photographing while moving within the predetermined area.
- FIG. 1 is a schematic view showing a configuration example of the drone photographing system 100 according to the first embodiment of the present technology.
- the drone photographing system 100 corresponds to an embodiment of an information processing system related to the present technology.
- the drone photographing system 100 includes a server device 10, a user terminal 30, and a drone 50.
- the server device 10, the user terminal 30, and the drone 50 are communicably connected via the network 35.
- the network 35 is constructed by, for example, the Internet, a wide area communication network, or the like.
- any WAN (Wide Area Network), LAN (Local Area Network), or the like may be used, and the protocol for constructing the network 35 is not limited.
- the server device 10 can provide an application service related to the drone photographing system 100.
- the server device 10 generates the plan information of the drone 50 based on the instruction of the user 31.
- the planning information is planning information regarding movement and photographing within a predetermined area on the map, and will be described in detail later.
- the server device 10 functions as an embodiment of the information processing device according to the present technology.
- the server device 10 has a database 5 and can store various information about the drone photographing system 100. Further, the server device 10 can read various information from the database 5 and output it to the user terminal 30 or the like.
- the user terminal 30 includes various devices that can be used by the user 31.
- a PC Personal Computer
- a smartphone or the like is used as the user terminal 30.
- the user 31 can use the drone photographing system 100 via the user terminal 30.
- the drone 50 is a mobile body having a drive system including an autonomous movement control unit (not shown), an image pickup device 51, and a propeller 52.
- the autonomous movement control unit performs various controls related to the autonomous movement (autonomous flight) of the drone 50.
- the autonomous movement control unit executes self-position estimation, surrounding situation analysis, action planning using a cost map, control of the drive system, and the like.
- the autonomous movement control unit can also control the photographing operation by the imaging device 51.
- autonomous flight and automatic photographing of the drone 50 are executed based on the plan information generated by the server device 10.
- the configuration and method for realizing autonomous flight and automatic shooting of the drone 50 are not limited, and any technique may be used.
- the image pickup device 51 for example, a digital camera including an image sensor such as a CMOS (Complementary Metal-Oxide Semiconductor) sensor or a CCD (Charge Coupled Device) sensor is used.
- an infrared camera equipped with infrared illumination such as an infrared LED may be used.
- the drone 50 corresponds to a moving body having a photographing function.
- the image pickup device 51 corresponds to a photographing unit.
- the image captured by the image pickup apparatus 51 includes both a still image and a moving image (video).
- "image” is a concept including both a still image and a moving image (video).
- a so-called cloud service is provided by the network 35, the server device 10, and the database 5. Therefore, it can be said that the user terminal 30 is connected to the cloud network.
- the method for connecting the server device 10 and the user terminal 30 so as to be communicable is not limited. For example, both may be connected by short-range wireless communication such as Bluetooth (registered trademark) without constructing a cloud network.
- FIG. 2 is a flowchart showing an outline of a shooting example using the drone shooting system 100.
- the user 31 uses the drone photographing system 100 in order to photograph a desired landscape, a building, or the like with the drone 50.
- the user 31 starts an application program related to the drone photographing system 100 via the user terminal 30.
- the server device 10 generates a GUI (Graphical User Interface) for generating a plan for generating the plan information, and sends the GUI (Graphical User Interface) to the user terminal 30.
- the transmitted GUI for plan generation is displayed on the display or the like of the user terminal 30 (step 101).
- the planning information is planning information regarding the movement and photographing of a moving body having a photographing function within a predetermined area.
- the planning information regarding movement and photographing within a predetermined area on the map generated by the server device 10 corresponds.
- the planning information includes various information on how to move the drone 50 within a predetermined area and how to photograph it.
- the predetermined area on the map is typically an area in which the user 31 skips the drone 50 to execute shooting, and is designated by the user 31.
- the plan information includes, for example, waypoints, routes, travel times, shooting conditions, aircraft attitudes, and the like.
- the waypoint is a point through which the drone 50 passes, and is defined by, for example, latitude, longitude, altitude, and the like.
- the travel time includes the time required for the drone 50 to pass through the waypoints, the time required for moving the route between the waypoints, and the like.
- Absolute time information may be set as the travel time. Alternatively, relative time information may be set based on the timing at which the drone 50 starts flying.
- the shooting conditions include, for example, a shooting direction, a shooting time, environmental information regarding a predetermined area, and the like.
- the shooting direction corresponds to the shooting direction of the image pickup device 51 (shooting optical axis direction), and is defined by, for example, the direction of the image pickup device 51 with reference to the posture of the machine body. Therefore, it is possible to regard the attitude of the aircraft as information included in the shooting conditions.
- Environmental information is information about the surrounding environment. For example, information such as weather, season, sunshine duration, brightness, position of the sun, and position of the moon is included in the environmental information.
- the user 31 can generate planning information such as shooting a sunset on a sunny day or a full moon in winter.
- a plan information generation instruction is input via the plan generation GUI displayed on the user terminal 30 (step 102).
- the plan information generation instruction input by the user 31 corresponds to the instruction regarding the generation of the plan information regarding the movement and shooting of the moving body having the shooting function within a predetermined area.
- the server device 10 generates plan information based on the input plan information generation instruction (step 103).
- the generated plan information is transmitted to the drone 50 (step 104).
- the drone 50 executes autonomous flight and automatic shooting according to the plan information generated by the server device 10 (step 105).
- the planning information also includes scenario planning information and scanning planning information.
- the scenario planning information is planning information regarding movement and shooting within a predetermined area on the map, which is specified after the generation of the predicted image or the predicted moving image described later.
- the drone 50 autonomously flies and photographs according to the scenario plan information transmitted from the server device 10.
- the scanning plan information is plan information generated based on the instruction information regarding the scanning range, which will be described later.
- the scanning plan information includes scanning settings such as the area (volume) and shape of the scanning range scanned by the scanning drone (hereinafter, referred to as scanning drone 60), and photographing at the time of scanning.
- the scanning drone 60 autonomously flies and photographs according to the transmitted scanning plan information.
- the processes of steps 101 to 105 are also performed for the generation of the scanning plan information transmitted to the scanning drone 60.
- FIG. 3 is a block diagram showing a functional configuration example of the server device 10 according to the present embodiment.
- FIG. 4 is a schematic diagram showing an example of a GUI for planning generation.
- the server device 10 has hardware necessary for configuring a computer such as a CPU, ROM, RAM, and HDD (see FIG. 15). When the CPU loads and executes the program according to the present technology recorded in advance in the ROM or the like into the RAM, each functional block illustrated in FIG. 3 is realized, and the information processing method according to the present technology is executed.
- the server device 10 can be realized by any computer such as a PC. Of course, hardware such as FPGA and ASIC may be used. Further, in order to realize each block shown in FIG. 3, dedicated hardware such as an IC (integrated circuit) may be used.
- the program is installed in the server device 10 via, for example, various recording media. Alternatively, the program may be installed via the Internet or the like.
- the server device 10 has a communication control unit 11, a GUI generation unit 12, and a scenario plan information generation unit 13.
- the communication control unit 11 controls communication with the user terminal 30 and the drone 50.
- the communication control unit 11 receives the scenario plan information generation instruction input via the user terminal 30, and supplies the instruction to the GUI generation unit 12 and the scenario plan information generation unit 13. Further, the scenario plan information generated by the scenario plan information generation unit 13 is transmitted to the drone 50.
- the communication control unit 11 functions as a control unit that controls the movement of the moving body having a shooting function and the operation related to shooting based on the scenario planning information. That is, the transmission of the scenario plan information to the drone 50 controls the autonomous flight and automatic shooting of the drone 50.
- the server device 10 may remotely control the autonomous flight and automatic shooting of the drone 50 in real time.
- the block that remotely controls the drone 50 functions as a control unit.
- the GUI generation unit 12 includes a map data acquisition unit 14, a map image generation unit 15, a timeline generation unit 16, an instruction information acquisition unit 17, an image data acquisition unit 18, a prediction image generation unit 19, and an image data transmission unit 20. ..
- the map data DB 24 and the image data DB 25 are constructed in the database 5 shown in FIG.
- the GUI 110 for plan generation illustrated in FIG. 4 is generated.
- the plan generation GUI 110 includes a map display unit 111, a shooting condition setting unit 112, a timeline display unit 113, a predicted image display unit 114, a preview setting button 115, and a moving image preview button 116. It has a scenario execution button 117, an open button 126, and a save button 127.
- a map including buildings, roads, and the like is displayed on the map display unit 111.
- the waypoints included in the scenario plan information and the routes connecting the waypoints are shown, and the illustration of maps such as roads and maps is omitted.
- the mode in which both the map and the waypoints are displayed, the mode in which only the map is displayed, and the mode in which only the waypoints and the like are displayed may be switched according to the instruction of the user 31.
- the user 31 specifies a map to be displayed on the map display unit 111.
- the drone 50 specifies a map that includes a region that is desired to be photographed.
- the method of designating the map is not limited. For example, the map is displayed based on the input of the address, and then the map including the area desired to be photographed is displayed on the map display unit 111 by scrolling operation, enlargement / reduction operation, or the like. Will be done.
- the user 31 may specify a specific building, mountain, lake, or the like (hereinafter referred to as a landmark).
- a map including the landmark is displayed on the map display unit 111 in response to an instruction to specify a specific landmark.
- the method is not limited to these methods, and any other method may be adopted.
- the landmark corresponds to an object existing in a predetermined area.
- the area desired to be photographed corresponds to a predetermined area on the map.
- the entire area displayed on the map display unit 111 is set as a desired area for photographing.
- the instruction information acquisition unit 17 shown in FIG. 3 acquires instruction information related to various instructions input from the user 31 via the plan generation GUI 110.
- the instruction (instruction information) regarding the map display on the map display unit 111 is output to the map data acquisition unit 14.
- the map data acquisition unit 14 acquires map data from the map data DB 24 based on the instruction information. For example, various map data are stored in the map data DB 24. For example, landmark information and latitude / longitude information are associated and stored. As a result, it becomes possible to acquire map data including the landmark according to the designation of the landmark.
- the map image generation unit 15 generates map image data to be displayed on the map display unit 111 of the plan generation GUI 110 based on the map data acquired by the map data acquisition unit 14. For example, the display area, magnification, presence / absence of landmark display, and the like are appropriately set.
- the image data generated by the map image generation unit 15 is transmitted to the user terminal 30 by the image data transmission unit 20. As a result, the map is displayed on the map display unit 111 in the plan generation GUI 110. In addition, the map display is updated as appropriate according to the operation of the user scrolling the map.
- the user 31 can select an arbitrary point in the map displayed on the map display unit 111.
- the selected point is set as a waypoint 121 and displayed identifiable.
- the movement route 122 of the drone 50 is generated.
- the instruction of the waypoint 121 can be input by moving the pointer on the map and selecting the enter button. Alternatively, latitude and longitude inputs may be performed. Alternatively, it is also possible to indicate the waypoint 121 by selecting a predetermined landmark on the map.
- the point where Tokyo Tower exists is designated as the waypoint 121.
- a point near Tokyo Tower may be designated as a waypoint 121.
- the method of generating the movement path 122 of the drone 50 is not limited. For example, they may be connected in the order of the waypoints selected by the user 31. Further, when the drone 50 cannot move according to the movement route 122 displayed on the map display unit 111 due to a building or the like, it may be displayed that the movement route 122 cannot be generated.
- the map image generation unit 15 generates image data including the waypoint 121 and the movement route 122 based on the instruction information for designating the waypoint 121.
- an image of the waypoint 121 and the movement route 122 may be generated by a block different from the map image generation unit 15 and superimposed on the map.
- the shooting condition setting unit 112 shown in FIG. 4 is a GUI for setting shooting conditions.
- shooting conditions are set for each waypoint 121. That is, it is possible to input an instruction regarding what kind of shooting is to be performed by the drone 50 that has reached the waypoint 121. Of course, it is also possible to have the drone 50 in progress on the movement route perform shooting.
- altitude can be set as a distance to the ground.
- the attitude of the aircraft can be set as a state in which the drone 50 is installed on the ground or an angle tilted as a yaw angle in a predetermined direction with reference to a predetermined direction. Further, for example, as for the direction of the camera, the roll angle, the pitch angle, and the yaw angle can be set with reference to the front direction of the drone 50.
- the coordinate system for defining the attitude of the aircraft and the orientation of the camera may be arbitrarily set. For example, the coordinate system is set based on the installation state of the drone 50 before flight. Of course, it is not limited to this.
- the orientation of the camera corresponds to the shooting direction.
- shooting condition setting unit 112 illustrated in FIG. 4 It is also possible to specify other parameters by scrolling the shooting condition setting unit 112 illustrated in FIG. 4 downward.
- various shooting conditions such as shooting time, environmental information, moving speed, moving start time, moving end time, and various parameters related to autonomous flight may be set.
- the waypoint 123 for which shooting conditions are set is displayed so as to be distinguishable from other waypoints.
- the waypoint 123 in which the shooting conditions are set is displayed as a star.
- it is not limited to such a display form.
- the predicted image display unit 114 displays the predicted image 124 that is predicted to be acquired when the drone 50 takes a picture.
- the display of the predicted image 124 can be said to be a preview display of the image predicted to be acquired when the drone 50 takes a picture. Further, the predicted image 124 can be said to be a simulation image when the drone 50 takes a picture.
- the instruction information acquisition unit 17 shown in FIG. 3 acquires instruction information regarding selection of the waypoint 121 and instruction information regarding designation of shooting conditions for each waypoint 121, and outputs the instruction information to the image data acquisition unit 18.
- the image data acquisition unit 18 acquires image data relating to a predetermined area on the map from the image data DB 25 based on the instruction information.
- image data of a map (area desired to be photographed) designated by the user 31 is acquired.
- the image data acquisition unit 18 corresponds to an acquisition unit that acquires image data relating to a predetermined area on the map.
- the image data DB 25 stores image data related to various areas on the map, various landmarks, and the like. For example, image data of a spherical image acquired by taking a picture while scanning an area on a map by a drone having a 360 ° camera or the like is stored. That is, image data may be acquired by a moving body for scanning having a photographing function taking a picture while scanning within a predetermined area. Of course, captured image data other than spherical image data may be used. Alternatively, a virtual image such as a 3D polygon may be used as the image data.
- a virtual image of a building, a landscape, or the like included in a predetermined area viewed from an arbitrary coordinate, an altitude, or an arbitrary direction may be retained as image data.
- the map data stored in the map data DB 24 shown in FIG. 3 and the acquisition method and data format of the image data stored in the image data DB 25 are not limited.
- map data and image data may be acquired via the network 35.
- the image data corresponds to the image data relating to a predetermined area on the map.
- the predicted image generation unit 19 generates the predicted image 124 based on the image data acquired by the image data acquisition unit 18.
- the predicted image generation unit 19 generates the predicted image 124 based on the waypoint 123 and the shooting conditions included in the instruction information. For example, based on the latitude, longitude, and altitude of the waypoint 123 and the shooting direction, a predicted image that is predicted to be acquired when the drone 50 actually shoots is generated.
- the method of generating the predicted image 124 is not limited, and any method may be adopted. For example, if there is an image taken by the scanning drone from the waypoint 123, the predicted image 124 is generated based on the image. For example, the image taken by the scanning drone may be used as it is as the predicted image 124.
- the scanning drone When the scanning drone has not taken a picture from the waypoint 123 designated by the user 31, for example, it is possible to generate the predicted image 124 based on a plurality of images taken from the surrounding points. For example, by using free-viewpoint video technology or the like, it is possible to generate a predicted image 124 from surrounding images. As a result, it is possible to generate the predicted image 124 with high accuracy, and it is possible to generate high-quality planning information.
- the scanning drone does not shoot from the waypoint 123 designated by the user 31, the predicted image 124 is generated based on the image taken from the point closest to the waypoint. That is, one image that will be closest to the image data is selected as the predicted image 124.
- any machine learning algorithm using, for example, DNN (Deep Neural Network) may be used.
- AI artificial intelligence
- deep learning deep learning
- machine learning may be similarly applied to various other techniques in the present disclosure.
- the image data of the predicted image 124 generated by the predicted image generation unit 19 is transmitted to the user terminal 30 by the image data transmitting unit 20.
- the predicted image 124 is displayed on the predicted image display unit 114 in the plan generation GUI 110.
- the display of the predicted image 124 is appropriately updated in response to an instruction to switch the waypoint 123 by the user, an instruction to change the shooting conditions, and the like.
- the predicted image 124 is presented based on the instruction regarding the generation of the scenario plan information regarding the movement and shooting in a predetermined area on the map of the moving body having the shooting function.
- a GUI for planning generation including the prediction image 124 is output in order to input a generation instruction of scenario planning information. That is, the output of the GUI for plan generation is included in the presentation of the predicted image 124.
- the GUI generation unit 12 corresponds to a presentation unit that presents a predicted image based on an instruction regarding generation of planning information regarding movement and shooting within a predetermined region of a moving body having a shooting function.
- the predicted image generation unit 19 corresponds to an image generation unit that generates a predicted image that is predicted to be acquired when shooting is performed within a predetermined area based on the image data.
- the timeline display unit 113 displays changes in predetermined parameters along the time series from the start of flight to the end of flight of the drone 50. For example, changes along the time series of shooting conditions such as the altitude of the drone 50, the attitude of the aircraft, and the orientation of the camera are displayed as a timeline based on a predetermined time unit.
- the timeline display unit 113 also displays time information when the drone 50 reaches each waypoint 121. As the time information displayed on the timeline, absolute time information may be used, or relative time information is displayed based on the time when the drone 50 starts autonomous flight according to the scenario plan information. May be good. As shown in FIG. 4, by scrolling the timeline display unit 113 in the horizontal direction, it is possible to confirm the shooting conditions in a desired time zone. Further, by scrolling the timeline display unit 113 in the vertical direction, it is possible to confirm changes in various parameters along the time series.
- the instruction information acquisition unit 17 shown in FIG. 3 acquires instruction information regarding selection of the waypoint 123 and instruction information regarding designation of shooting conditions for each waypoint 123, and outputs the instruction information to the timeline generation unit 16.
- the timeline generation unit 16 generates image data of the timeline based on the instruction information.
- the image data of the timeline generated by the timeline generation unit 16 is transmitted to the user terminal 30 by the image data transmission unit 20.
- the timeline is displayed on the timeline display unit 113 in the plan generation GUI 110. Further, the timeline display is appropriately updated in response to an instruction by the user 31 to switch the waypoint 123, an instruction to change the shooting conditions, and the like.
- the preview setting button 115 is a button for making various settings related to the display (preview display) of the predicted image displayed on the predicted image display unit 114.
- a predetermined screen opens, and various settings related to the predicted image 124 can be changed.
- Examples of the display setting of the predicted image include the accuracy of the predicted image 124, the processing of the predicted image, and the setting of FPS (Frames Per Second) of the moving image displayed as the predicted image.
- the accuracy of the predicted image for example, it is possible to switch between a high accuracy mode in which the accuracy of the predicted image 124 is high and a low accuracy mode in which the accuracy is low. For example, by executing the above-mentioned free-viewpoint video technology, machine learning, or the like, it is possible to generate a predicted image 124 with extremely high accuracy. On the other hand, by selecting the image taken from the point closest to the waypoint 123 as the predicted image 124, the predicted image 124 can be displayed at high speed with low processing load, although the accuracy is lowered. For example, when the high-precision mode is set, there is a possibility that a time lag may occur in the display of the predicted image 124. Therefore, the operability can be improved by configuring the two modes having different accuracy of the predicted image 124 so as to be switchable on the plan generation GUI 110.
- the predicted image generation unit 19 illustrated in FIG. 3 is based on at least one of the shooting direction, the shooting time, or the environmental information regarding the predetermined area when the drone 50 is shot.
- the predicted image is processed.
- the predicted image is image-processed based on time-varying factors such as the sun, moon, brightness, and weather.
- time-varying factors such as the sun, moon, brightness, and weather.
- image processing is performed so as to reduce the brightness of the predicted image.
- Elements that change with time, such as the sun, moon, brightness, and weather are information included in the environmental information regarding the shooting environment.
- the types of image processing filters and the like are not limited.
- the processing also includes making a moving image by connecting a plurality of predicted images in time based on the instruction of the user 31.
- the user 31 can select an arbitrary frame rate. For example, if you want to reduce the amount of data, you can make settings that reduce the frame rate.
- the moving image preview button 116 is a button for displaying the predicted image 124 displayed on the predicted image display unit 114 as a moving image (the predicted image displayed as a moving image may be described as a predicted moving image).
- the predicted moving image is displayed based on the movement route and the shooting conditions set by the user 31. For example, when the shooting conditions at each point of the drone 50 moving on the movement path 122 are set, a predicted image of each point of the drone 50 is generated. By arranging the generated predicted images in the order in which they were taken, a predicted moving image is generated.
- the predicted images 124 at each waying point may be continuously combined and displayed as one predicted moving point.
- the scenario execution button 117 is a button for causing the drone 50 to execute the movement route and shooting conditions set by the user 31.
- the scenario planning information input so far is determined. That is, the planning information regarding the movement and shooting of the drone 50 within a predetermined area on the map, which is specified after the generation of the predicted image 124 or the predicted moving image, is determined.
- the plan generation GUI 110 has a save button 127 capable of saving the generated scenario plan information and an open button 126 capable of displaying the saved scenario plan information. This makes it possible to save and redisplay, for example, scenario planning information that is being generated.
- the plan generation unit 21 shown in FIG. 3 generates scenario plan information according to the selection of the scenario execution button 117.
- the generated scenario plan information is held by the plan holding unit 22 and stored in the database 5.
- the number of scenario plan information to be retained and the retention period are not limited.
- the scenario plan information is read from the database 5 and transmitted to the user terminal 30. Then, for example, scenario planning information being generated is developed on the user terminal 30.
- FIG. 5 is a flowchart showing a specific processing example of generating scenario plan information.
- the map specified by the user 31 is displayed on the map display unit 111 of the plan generation GUI 110 (step 201).
- the user 31 selects an arbitrary point from the map displayed on the map display unit 111. Further, the user 31 sets the shooting conditions for each selected point via the shooting condition setting unit 112.
- a predicted image is generated based on the shooting conditions of each waypoint specified by the user 31.
- the predicted image based on the scenario plan information set by the user 31 is displayed on the predicted image display unit 114 (step 202).
- the predicted image is processed based on the display setting of the predicted image (step 204). That is, the preview setting button 115 is selected by the user 31, and the processed predicted image 124 is displayed in the predicted image display unit 114 by changing the setting.
- the processed predicted image 124 is displayed on the preview setting button 115 (step 205).
- the predicted image is maintained in the displayed state.
- the plan generation unit 21 generates scenario plan information (step 207).
- FIG. 6 is a block diagram showing a functional configuration example of the scanning drone 60 and the server device 80.
- FIG. 7 is a schematic view showing a scanning plan generation GUI 130 for executing scanning of the scanning drone 60.
- the scanning drone 60 corresponds to a moving body for scanning having a photographing function.
- the scanning drone 60 includes a power unit 61, a sensor group 62, a camera 63, an aircraft control unit 64, an obstacle detection unit 65, a moving object information calculation unit 66, an image data recording unit 67, and an action plan. It has a unit 68, a cost map generation unit 69, and a communication control unit 70.
- the power unit 61 includes various devices related to the drive system for moving the scanning drone 60.
- the power unit 61 includes a servomotor capable of designating torque, a motion controller that decomposes and replaces the movement of the scanning drone 60 itself, and a feedback control device using a sensor in each motor.
- the power unit 61 includes a motor having four or six propellers upward of the machine body, and a motion controller that decomposes and replaces the movement of the scanning drone 60 itself into the rotation amount of each motor.
- the sensor group 62 includes various sensors for detecting external and internal information of the scanning drone 60 and the self-position of the scanning drone 60.
- the sensor group 62 includes a GPS (Global Positioning System) for detecting its own position, a magnetic sensor for measuring the posture of the scanning drone 60, an inertial measurement unit (IMU), and the like. ..
- the sensor group 62 includes a laser range finder for detecting obstacles, a contact sensor, an ultrasonic sensor, a radar, a LiDAR (Light Detection and Ranging, Laser Imaging Detection and Ranging), a barometer for measuring pressure, and the like. Be prepared.
- the camera 63 photographs the periphery of the scanning drone 60 and acquires image data.
- the camera 63 is an omnidirectional camera capable of simultaneously capturing an image of 360 degrees around it, and photographs the area designated by the user 31. That is, in the present embodiment, the image data is a spherical image.
- the image data may be a general flat image.
- the type of camera 63 is not limited. For example, a digital camera including an image sensor such as a CMOS sensor or a CCD sensor may be used.
- the camera 63 may function as the sensor group 62.
- a stereo camera or the like for detecting an obstacle may function as the sensor group 62.
- the aircraft control unit 64 controls the operation of the scanning drone 60 based on the action plan supplied from the action planning unit 68. For example, the scanning drone 60 moves by operating the power unit 61 based on the control signal.
- the power unit 61 airframe control unit 64
- the obstacle detection unit 65 detects an obstacle that hinders the movement of the scanning drone 60 based on the data or signal from the sensor group 62. For example, a building or the like that can prevent the movement route of the scanning plan information of the scanning drone 60 is applicable.
- the mobile information calculation unit 66 calculates the state of the scanning drone 60 based on the data or signal from the sensor group 62. For example, the self-position and the attitude of the scanning drone 60 are calculated as the moving object information. In addition to that, the speed, acceleration, presence / absence and content of abnormality of the scanning drone 60, and the state of other devices mounted on the scanning drone 60 are calculated.
- the image data recording unit 67 records the image data taken by the camera 63.
- the latitude / longitude, altitude, and the attitude of the aircraft at each time of the scanning drone 60 supplied from the moving object information calculation unit 66 are recorded in association with each other.
- the image data recording unit 67 transmits the image data to the server device 80 via the communication control unit 70.
- the timing of transmitting the image data is not limited.
- the image data may be transmitted in real time at the time when the image data is acquired, or may be transmitted in a batch after the scanning is completed.
- the action planning unit 68 plans the action plan of the scanning drone 60 for scanning based on the information supplied from the cost map generation unit 69 and the communication control unit 70. For example, the action planning unit 68 plans the start, stop, direction of travel (for example, forward, backward, left turn, right turn, change of direction, etc.), movement speed, and settings related to shooting.
- the action plan also includes scanning plan information. That is, the action plan includes autonomous flight such as avoiding obstacles of the scanning drone 60, and movement and photographing for scanning within a predetermined area. More specifically, the action planning unit 68 plans the action plan based on the scanning range, the shooting density, the shooting interval, the cost map, and the like instructed by the user 31. For example, when the scanning time is set longer than the volume (area) of the scanning range, the scanning intervals of the scanning drone 60 within the scanning range become dense.
- the scanning range includes at least one of shape information such as a rectangular parallelepiped or a sphere, position information such as latitude / longitude and altitude, and scale information such as volume and area.
- shape information such as a rectangular parallelepiped or a sphere
- position information such as latitude / longitude and altitude
- scale information such as volume and area.
- the setting of the scanning range is not limited.
- the center of gravity or the like, the rotation angle, or the like may be set according to the shape of the scanning range.
- the action plan includes a scanning range, a setting related to scanning, and a movement route.
- the specific algorithm for generating the action plan is not limited.
- a * algorithm A star that divides the environment in a grid pattern and optimizes the arrival judgment and the weight of the route to generate the best path.
- Search algorithm Dijkstra's algorithm (Dijkstra's algorithm) that finds the shortest path between two vertices on the graph, and RRT (Rapidly-) that extends the path from the self-position to the place where incrementally can be reached while appropriately pruning.
- An action plan may be generated by exploring Random Tree) algorithm or the like.
- the cost map generation unit 69 generates a cost map based on the information from the obstacle detection unit 65 and the moving object information calculation unit 66.
- a cost map is generated based on information such as obstacles obstructing the path of the scanning drone 60 and the self-position and posture of the scanning drone 60.
- the communication control unit 70 communicates with the communication control unit 90 that enables communication with the server device 80.
- the method of connecting the communication control units 70 (90) so as to be communicable is not limited. For example, an arbitrary network such as WAN or LAN is used.
- the communication control unit 70 (90) can transmit and receive various information (data) by controlling a module for establishing communication and a communication device such as a router.
- the server device 80 has a GUI generation unit 81 and a scanning plan information unit 82.
- the GUI generation unit 81 includes a map data acquisition unit 83, a map image generation unit 84, a scanning range setting unit 86, an instruction information acquisition unit 85, a scanning time prediction unit 87, an image data holding unit 88, an image data transmission unit 89, and communication. It has a control unit 90.
- the scanning plan information unit 82 has a scanning plan generation unit 91 and a scanning plan holding unit 92.
- the map data acquisition unit 83, the map image generation unit 84, and the image data transmission unit 89 have the same functions as those in the first embodiment.
- the communication control unit 90 has the same function as the communication control unit 70. Further, the server device 80 has a map data DB 24 of the server device 10.
- the scanning plan generation GUI 130 includes a map display unit 111, a scanning range display unit 132, a scanning time display unit 133, a scanning setting display unit 134, and a scanning execution unit 135 of the plan generation GUI 110. And have.
- the instruction information acquisition unit 85 shown in FIG. 6 outputs instruction information regarding the scanning range of the scanning drone 60 to the scanning range setting unit 86. That is, the scanning plan information of the scanning drone 60 is generated based on the instruction information regarding the scanning range.
- the scanning range setting unit 86 sets the scanning range of the scanning drone 60 based on the instruction information regarding the scanning range.
- the volume (area), shape, and the like of the scanning range 136 can be set.
- the user 31 can make the scanning range 136 into various shapes such as hexagons, circles, and squares.
- the scanning range 136 can be determined linearly in addition to determining the scanning range 136 as an area.
- the image data of the scanning range set by the scanning range setting unit 86 is transmitted to the user terminal 30 by the image data transmitting unit 89. As a result, the scanning range 136 is displayed on the scanning range display unit 132 in the scanning plan generation GUI 130.
- the method for determining the scanning range 136 is not limited.
- a predetermined shape displayed in the area selection display unit 137 may be selected, or the user 31 may freely determine the scanning range 136. Further, for example, when a specific landmark is selected, a scanning range 136 having a predetermined radius around the landmark may be determined.
- the instruction information acquisition unit 85 and the scanning range setting unit 86 correspond to a scanning generation unit that generates scanning planning information related to scanning and photographing in a predetermined region of the scanning moving body. ..
- the instruction information acquisition unit 85 shown in FIG. 6 acquires instruction information regarding the scanning range, and outputs the instruction information to the scanning time prediction unit 87.
- the scanning time prediction unit 87 predicts the actual time required for scanning based on the instruction information regarding the scanning range. Typically, the required time is determined based on the size of the scanning range 136, the moving speed of the scanning drone 60, and the like. Of course, the required time may be determined in advance, and the scanning setting may be determined based on the required time.
- the image data of the time actually required for the scanning predicted by the scanning time prediction unit 87 is transmitted to the user terminal 30 by the image data transmission unit 89. As a result, the time actually required for scanning is displayed on the scanning time display unit 133 in the scanning plan generation GUI 130.
- the scanning setting display unit 134 is a GUI for setting scanning.
- the imaging density of the camera 63 included in the scanning drone 60, the scanning time and the route of the scanning drone 60, and the like can be set according to the instruction of the user 31.
- the imaging density indicates whether or not imaging is performed according to the distance traveled by the scanning drone 60. For example, it may be set to take a picture once every time the scanning drone 60 advances by 3 m.
- the image data holding unit 88 holds the image data transmitted from the image data recording unit 67 via the communication control unit 90.
- the retained image data is acquired by an image data acquisition unit (not shown) and generated as a prediction image by a prediction image generation unit (not shown).
- the spherical image acquired by the camera 63 is retained. Therefore, the predicted image generation unit cuts out a portion corresponding to the angle of view of the camera 63 from the image data based on the shooting direction of the camera 63 and the posture of the scanning drone 60.
- a predicted image is generated by performing lens curvature (distortion) correction on the clipped image data.
- the scan plan generation unit 91 shown in FIG. 6 generates scan plan information according to the selection of the scan execution unit 135.
- the generated scan plan information is held by the scan plan holding unit 92 and stored in the database 5.
- the number of scanning plan information to be retained, the retention period, and the like are not limited.
- FIG. 8 is a schematic diagram showing a specific example of scanning of the scanning drone 60.
- FIG. 8A is a schematic diagram showing an example of a moving path to be scanned by the scanning drone 60.
- FIG. 8B is a schematic diagram showing an example of a method of calculating the movement path of the scanning drone 60.
- the scanning range 140 is determined by the instruction of the user 31.
- the movement path 141 for scanning the scanning drone 60 is determined based on the setting such as the photographing density determined by the user 31.
- the action planning unit 68 plans the movement path 141 so that the image data in the scanning range 140 can be sufficiently acquired.
- the movement path 141 is set in a wavy shape on the surface of the scanning range 140 having a constant altitude.
- the altitude is changed by a certain distance, and it is set to further scan in a wavy shape.
- the movement path 141 may be set every 10 m in height. That is, the scanning drone 60 scans the scanning range 140 at different heights five times.
- the method of setting the movement path 141 is not limited.
- the interval of the movement path may be set based on the performance of the scanning drone 60 such as the shooting range of the camera 63. Further, for example, the movement path 141 may be set so that the user 31 determines a predetermined position within the scanning range and connects the positions.
- the cost map generation unit 69 generates the cost map 143 for the moved movement path 142 of the scanning drone 60.
- the cost map generation unit 69 sets a high cost around the path once the scanning drone 60 has passed. For example, the shorter the radius of the circle around the movement path 142, the higher the cost is set. That is, the cost map generation unit 69 generates a three-dimensional tubular cost map 143 centering on the path passed by the scanning drone 60. In this embodiment, the cost map 143 corresponds to the cost information regarding the scanning path. Further, the cost map generation unit 69 sets a high cost around the obstacle 144 when the obstacle 144 exists on the movement path 142 by the obstacle detection unit 65. That is, the movement path 145 is generated so that the scanning drone 60 avoids the obstacle 144.
- the action planning unit 68 generates the next movement route 147 of the scanning drone 60 based on the cost map generated by the cost map generation unit 69 so that the cost is low. That is, in the present embodiment, the movement paths 147 are generated so as not to overlap the movement paths 146 having different heights (Z-axis) when viewed from the height direction (Z-axis direction).
- the cost map generation method is not limited.
- a cost map may be generated by an A star search algorithm, a route search algorithm such as Dijkstra's algorithm, or the like.
- any machine learning algorithm may be used.
- the cost map once generated may be updated at any time. This makes it possible to uniformly scan the scanning range in the three-dimensional space by increasing the cost of the path once taken.
- the movement path 145 corresponds to the scanning path that has passed in the past.
- image data relating to an area desired to be photographed on the map is acquired. Based on the image data, a predicted image 124 that is predicted to be acquired when shooting is performed in a region desired for shooting is generated. Predicted image 124 is presented based on instructions regarding the generation of scenario planning information regarding movement and imaging within the desired region of the drone 50 having the imaging function. As a result, it is possible to generate high-quality planning information regarding the movement and shooting of a moving body having a shooting function.
- autonomous flight technology for drones that automatically fly a route specified in advance by a user is becoming easier. Therefore, in the present technology, at the stage of generating the movement path, the movement path and the direction of the camera are specified while checking the image data predicted to be taken from the movement path and the direction of the camera in each movement path. So, it is possible to shoot by autonomous flight.
- the predicted image of the waypoint 121 selected by the user when generating the scenario plan information is displayed.
- the user can display the predicted image by selecting the landmark displayed on the map display unit.
- FIG. 9 is a block diagram showing a functional configuration example of the server device 150 of the second embodiment according to the present technology.
- a candidate point generation unit 153 and a candidate image generation unit 154 are added to the GUI generation unit 12 of the server device 10.
- a shooting rule DB 155 is added in addition to the map data DB 24 and the image data DB 25. Since the scenario plan information generation unit is the same as the scenario plan information generation unit 13 of the first embodiment, the illustration is omitted.
- FIG. 10 is a schematic diagram showing an example of a plan generation GUI 160 when a candidate image is used.
- the plan generation GUI 160 has a map display unit 111, a timeline display unit 113, a moving image preview button 116, a scenario execution button 117, an open button 126, and a save button 127 of the plan generation GUI 110.
- the plan generation GUI 160 has a landmark information display unit 162, a candidate image generation unit 163, a candidate image display unit 164, and a candidate image addition unit 165.
- FIG. 11 is a flowchart showing a specific processing example of generating scenario planning information using the candidate image. Since the processes of steps 301, 306, and 307 are the same steps as those in the first embodiment, the description thereof will be omitted.
- a specific landmark is selected by the user on the map displayed on the map display unit 111 (step 302).
- the information of the selected landmark is displayed on the landmark information display unit 162.
- a schematic diagram 170 showing the selected landmark is displayed on the map display unit 111. For example, when the user selects Tokyo Tower as a landmark, the schematic diagram 170 is displayed in the vicinity of the selected waypoint 171 (star mark) in a diagram imitating Tokyo Tower.
- the instruction information acquisition unit 152 shown in FIG. 9 acquires instruction information regarding the selection of the waypoint 171 and outputs the instruction information to the candidate point generation unit 153.
- the candidate point generation unit 153 generates candidate points for landmarks selected by the user based on the shooting rules held in the shooting rule DB 155.
- the candidate point indicates the position information set for each landmark selected by the user. For example, location information such as a position 30 m north, south, east, and west from Tokyo Tower is set for each landmark.
- the candidate point is at least one of the relative shooting position of the drone 50 set for each category of the landmark to be selected or the display state of the landmark in the acquired image. Indicates a point.
- Information about landmarks held in the shooting rule DB 155 is displayed on the landmark information display unit 162.
- the name, latitude / longitude, building, and other types of landmarks selected by the user are displayed. Not limited to this, if it is a mountain or a building, the height or the like may be displayed.
- the candidate image automatic generation button 163 is a button for generating a candidate image of a landmark selected by the user.
- landmark candidate images 176 and 177 and the like are generated based on the shooting rules set for the selected landmark (step 303).
- the candidate image corresponds to a prediction candidate image generated based on the position information of the target object to be selected.
- the candidate image generation unit 154 generates a candidate image when the drone 50 takes a picture from the generated candidate points.
- the candidate image generation unit 154 generates image data of the candidate image.
- the image data of the candidate image generated by the candidate image generation unit 154 is transmitted to the user terminal 30 by the image data transmission unit 20.
- the candidate images 176 and 177 are displayed on the candidate image display unit 164 in the plan generation GUI 160 (step 304).
- the user can select the generated candidate images 176 and 177 based on the shooting rule. It is also possible to select another candidate image by scrolling the candidate image display unit 164 downward.
- the shooting rule DB 155 holds shooting rules for shooting various landmarks. An example of the shooting rule will be described with reference to FIG.
- the candidate image addition button 165 is a button for adding a candidate image of a landmark selected by the user to the movement path. That is, the position of the waypoint 171 associated with the candidate image selected by the user and the shooting rule are added to the scenario plan information (step 305). For example, as shown in FIG. 10, when the candidate image addition unit 165 is selected by the user, the broken line 174 connecting the waypoints 171 and the waypoints 172 and 173 is displayed on the map display part 111. That is, a movement route (broken line 174 and solid line 175) that passes through the waypoint 171 is generated as scenario planning information of the drone 50. That is, the plurality of candidate images displayed on the candidate image display unit 164 can be said to be predicted images.
- the position of the waypoint and the shooting rule associated with the candidate image can be said to be planning information regarding movement and shooting within a predetermined area on the map specified after the generation of the predicted image.
- FIG. 12 is a diagram showing an example of shooting rules.
- the landmark type, the distance from the target, the shooting direction, the shooting altitude, and the angle of view position are set as shooting rules.
- the landmark type indicates the classification of the landmark. For example, high-rise buildings, mountains, bridges, houses, etc. are set. Of course, other landmark classifications may be set. In this embodiment, the landmark type corresponds to the classification information for classifying the object.
- the distance from the subject indicates the distance between the selected landmark and the drone 50.
- a distance (position) that can be photographed from directly above or directly below the target building is a candidate point.
- the candidate point is a distance at which the object can be photographed so as to occupy 40% of the total height of the angle of view of the camera of the drone 50.
- the landmark is displayed at a magnification of 1.4 times from the state where the landmark occupies 100% of the total height of the angle of view of the camera.
- the drone 50 shoots at a position closer to the landmark than when the distance from the target is "100%”. That is, the distance from the object is defined as the distance at which the image is taken so that the landmark occupies the total height of the angle of view of the camera.
- the shooting direction indicates the direction in which the drone 50 shoots the target landmark. In this embodiment, east, west, south, north, and directly above the landmark are set.
- the shooting altitude indicates the position with respect to the height of the object. For example, when "50%" is set, the position of 50% of the height of the building is a candidate point. In this embodiment, the distance from the target and the shooting altitude correspond to the shooting position relative to the target.
- the angle of view position indicates the position where the object is reflected in the image taken by the drone 50.
- a position where the building can be projected in the center or the orientation of the camera is a candidate point.
- a plurality of candidate points are generated by combining these various shooting rules.
- the landmark type is set to "building”
- the distance from the target is set to "distance 0 (directly above)”
- the shooting direction is set to "directly above”
- the shooting altitude is set to "120%”
- each image position is set to "center”.
- candidate points are generated when the building is shot from directly above the center of the image. That is, the shooting rule can be said to be the shooting condition of the candidate point.
- the shooting direction and the angle of view position correspond to the display state of the object in the predicted image.
- the conditions of the shooting rules are not limited.
- an arbitrary shooting rule may be set by the user.
- the distance from the object, the shooting direction, the shooting altitude, and the angle of view position correspond to the relative positions of the target and the moving body.
- the shooting rule corresponds to the prediction image generation rule regarding the instruction to select the object.
- the scenario plan information such as the latitude / longitude, altitude, and camera direction of the drone 50 can be set by selecting a candidate point, so that the scenario plan information can be easily generated. Is possible.
- ⁇ Third embodiment> The drone imaging system 300 of the third embodiment according to the present technology will be described.
- candidate images for each shooting rule of a plurality of candidate points for the selected landmark are displayed on the candidate image display unit 164.
- only one of a plurality of candidate points is randomly selected, and a candidate image of the selected candidate points is generated.
- a candidate image is selected by recognizing whether or not a landmark exists in the generated candidate image.
- FIG. 13 is a block diagram showing a functional configuration example of the server device 180 according to the third embodiment according to the present technology.
- the server device 180 has a GUI generation unit 181 and a scenario plan information generation unit 182.
- a recognizer acquisition unit 183, a candidate image determination unit 184, and a candidate image holding unit 185 are added to the server device 150 of the second embodiment. Since the scenario plan information generation unit 182 is the same as the first embodiment, the illustration is omitted.
- the instruction information acquisition unit 152 acquires instruction information regarding the selection of the waypoint 171 and outputs the instruction information to the candidate point generation unit 153.
- the candidate point generation unit 153 generates candidate points based on an instruction from the user and a shooting rule held in the shooting rule DB 155. In the third embodiment, only one candidate point is selected, and a candidate image of the selected candidate point is generated.
- the recognizer acquisition unit 183 acquires a recognizer for performing image recognition on the predicted image generated by the candidate image generation unit 154. For example, a recognizer for various purposes such as determining a landscape or a building whose candidate image is used, or inspecting a deterioration status of a building is acquired. Further, the instruction information acquisition unit 152 may acquire instruction information regarding the acquisition of the recognizer and output the instruction information to the recognizer acquisition unit 183.
- the candidate image determination unit 184 determines whether or not the selected landmark exists in the generated candidate image. In the present embodiment, the candidate image determination unit 184 determines whether the reliability of the landmark in the candidate image exceeds a predetermined threshold value. That is, it is evaluated (scoring) whether the candidate image is an image according to the purpose by using the recognizer.
- the specific algorithm for executing image recognition is not limited, and machine learning may be used, for example. For example, a template image showing a landmark and a landmark appearing in a candidate image may be determined by template matching. Further, for example, the accuracy of the candidate image may be improved by matching the feature points of the photographed image of the highly accurate landmark photographed by a professional photographer.
- the candidate image holding unit 185 holds a candidate image whose reliability has been determined by the candidate image determination unit 184 to exceed a predetermined threshold value.
- the candidate image holding unit 185 continues to hold the candidate images until the number of candidate images whose reliability exceeds a predetermined threshold value reaches a predetermined number.
- the supplied candidate images are displayed on the candidate image display unit 164. That is, the prediction image is generated by generating a prediction candidate image based on the position information of the selected object and evaluating the prediction candidate image with respect to the display state of the object in the prediction image.
- FIG. 14 is a flowchart showing a determination example for generating a candidate image. Since the processes of step 401, step 402, step 406, step 407, step 408, and step 409 are the same steps as those in the first embodiment, the description thereof will be omitted.
- the user selects the landmark displayed on the map display unit 111.
- the candidate point generation unit 153 randomly selects one from a plurality of candidate points based on the shooting rule associated with the landmark, and a candidate image of the candidate point is generated (step 403). For example, if the type of landmark selected by the user is a mountain, the candidate is photographed from the west at 10% of the height of the mountain and displayed so that the mountain occupies 60% of the height of the angle of view in the center of the angle of view. An image is generated.
- the candidate image determination unit 184 determines whether or not the selected landmark exists in the candidate image generated by the candidate image determination unit 184 (step 404). For example, when Tokyo Tower is selected as a landmark by the user, the candidate image determination unit 184 performs image recognition on the generated candidate image to determine whether or not Tokyo Tower exists in the candidate image.
- the candidate image holding unit 185 holds the candidate image.
- the candidate images held by the candidate image holding unit 185 are displayed on the candidate image display unit 164 (step 406).
- the candidate point generation unit 153 selects the landmark.
- the candidate points of the landmarks are generated, and the candidate images of the candidate points generated by the candidate image generation unit 154 are newly generated.
- the predicted image displayed by using the evaluation result by the image recognizer can be made highly accurate.
- FIG. 15 is a block diagram showing a hardware configuration example of the server device 10.
- the hardware configuration example of the server device 10 can be similarly implemented for the server devices 80, 150, and 180.
- the server device 10 includes a CPU 201, a ROM (Read Only Memory) 202, a RAM 203, an input / output interface 205, and a bus 204 that connects them to each other.
- a display unit 206, an input unit 207, a storage unit 208, a communication unit 209, a drive unit 210, and the like are connected to the input / output interface 205.
- the display unit 206 is a display device using, for example, a liquid crystal, EL (Electro-Luminescence), or the like.
- the input unit 207 is, for example, a keyboard, a pointing device, a touch panel, or other operating device. When the input unit 207 includes a touch panel, the touch panel can be integrated with the display unit 206.
- the storage unit 208 is a non-volatile storage device, for example, an HDD, a flash memory, or other solid-state memory.
- the drive unit 210 is a device capable of driving a removable recording medium 211 such as an optical recording medium or a magnetic recording tape.
- the communication unit 209 is a modem, router, or other communication device for communicating with another device that can be connected to a LAN, WAN, or the like.
- the communication unit 209 may communicate using either wired or wireless.
- the communication unit 209 is often used separately from the server device 10. In the present embodiment, the communication unit 209 enables communication with other devices via the network.
- Information processing by the server device 10 having the hardware configuration as described above is realized by the cooperation between the software stored in the storage unit 208 or the ROM 202 or the like and the hardware resources of the server device 10.
- the information processing method according to the present technology is realized by loading and executing the program constituting the software stored in the ROM 202 or the like into the RAM 203.
- the program is installed in the server device 10 via, for example, the recording medium 211.
- the program may be installed in the server device 10 via the global network or the like.
- any non-transient storage medium that can be read by a computer may be used.
- the scanning drone 60 flies autonomously and the image data is acquired by generating the scanning plan information of the scanning drone 60.
- image data may be acquired by the user operating the scanning drone 60.
- the shooting conditions are displayed on the timeline display unit 113 in the timeline.
- shooting conditions such as altitude, substrate posture, and camera orientation displayed on the timeline display unit 113 may be controlled by being selected by the user.
- the user may select a timeline showing the altitude of the drone 50 at the waypoint and drag it to control the altitude.
- the "distance from the target" of the shooting rule associated with the landmark is how much the landmark is relative to the overall height of the angle of view of the camera. It is defined as the distance at which an image that occupies is taken. The distance is not limited to this, and may be defined as the distance at which an image is taken such that the landmark occupies the length in the horizontal direction orthogonal to the height direction of the angle of view of the camera. Further, the case where the lower end and the upper end of a photograph or the like that the candidate image looks up is not taken is also included in the distance from the target.
- the server device provided the drone photographing system to the user terminal 30 via the network 35.
- the user terminal 30 and the drone 50 may include a configuration that functions as a server device without being limited to this.
- the drone 50 and the scanning drone 60 performed the scenario plan information and the scanning plan information in one autonomous flight.
- the present invention is not limited to this, and for example, when it is determined that the battery or the like does not have the scenario plan information and the scanning plan information until the end, the point where the image was taken may be retained. Further, after the battery is replaced or charged by RTH (Return To Home) or the like, autonomous flight may be continued from a position during shooting. Further, the drone 50 and the scanning drone 60 may have a moving mechanism capable of moving not only in the air but also on the ground or water.
- the GUI for planning generation is presented as an application.
- the present invention is not limited to this, and for example, a website related to the drone development system may be constructed, and a predetermined Web page in the website may be accessed via the user terminal 30 to present a GUI for planning generation.
- the information processing device, information processing method, program, and information processing system related to this technology are executed by linking the computer mounted on the communication terminal with another computer that can communicate via a network, etc.
- Such an information processing device may be constructed.
- the information processing device, information processing method, program, and information processing system can be executed not only in a computer system composed of a single computer but also in a computer system in which a plurality of computers operate in conjunction with each other. is there.
- the system means a set of a plurality of components (devices, modules (parts), etc.), and it does not matter whether all the components are in the same housing. Therefore, a plurality of devices housed in separate housings and connected via a network, and one device in which a plurality of modules are housed in one housing are both systems.
- the information processing device, information processing method, program, and information processing system executed by the computer system according to the present technology include, for example, generation of scenario plan information, acquisition of image data, generation of predicted image, etc. This includes both when it is performed and when each process is performed by a different computer. Further, the execution of each process by a predetermined computer includes causing another computer to execute a part or all of the process and acquire the result.
- the information processing device, information processing method, program, and information processing system related to this technology shall also be applied to the configuration of cloud computing in which one function is shared by multiple devices via a network and processed jointly. Is possible.
- the effects described in this disclosure are merely examples and are not limited, and other effects may be obtained.
- the description of the plurality of effects described above does not necessarily mean that those effects are exerted at the same time. It means that at least one of the above-mentioned effects can be obtained depending on the conditions and the like, and of course, there is a possibility that an effect not described in the present disclosure may be exhibited.
- this technology can also adopt the following configurations.
- An acquisition unit that acquires image data related to a predetermined area on the map, and An image generation unit that generates a predicted image that is predicted to be acquired when shooting is performed in the predetermined area based on the image data.
- An information processing device including a presentation unit that presents a predicted image based on an instruction regarding movement of a moving body having a photographing function within the predetermined area and generation of planning information regarding photographing.
- the presentation unit is an information processing device that outputs a GUI (Graphical User Interface) including the predicted image for inputting an instruction regarding the generation of the plan information.
- GUI Graphic User Interface
- the image generation unit generates the predicted image based on an instruction regarding at least one of the position in the predetermined region or the shooting condition.
- Information processing device (4) The information processing device according to (3).
- the shooting condition is an information processing device including at least one of shooting direction, shooting time, or environmental information regarding the predetermined area.
- the image generation unit is an information processing device that generates the predicted image in which the object is photographed based on an instruction to select an object existing in the predetermined region.
- the image generation unit is an information processing device that generates the predicted image based on the predicted image generation rule regarding the instruction to select the object. (7) The information processing device according to (6).
- Information processing device that contains information about.
- the image generation unit generates a prediction candidate image based on the position information of the selected object, and evaluates the prediction candidate image with respect to the display state of the object in the prediction image.
- An information processing device that generates a predicted image.
- the information processing apparatus according to (9).
- the plan generation unit is an information processing device that generates the plan information based on an instruction to select the presented predicted image.
- the planning information is an information processing device including at least one of a waypoint, a travel time, or a shooting condition.
- the image data is an information processing device which is image data acquired by a moving body for scanning having a photographing function taking an image while scanning in the predetermined area.
- the image data is an information processing device including spherical image data.
- the information processing apparatus according to the information processing apparatus (15) (12), further comprising a control unit for controlling the movement of a moving body having an imaging function and operations related to imaging based on the planning information.
- An information processing device including a scanning generation unit that generates scanning planning information regarding scanning and photographing in the predetermined area of the moving body for scanning.
- the planning information for scanning includes cost information regarding the scanning path.
- the cost information is an information processing device generated based on a scanning path that has passed in the past.
- An information processing method in which a computer system executes to present the predicted image based on an instruction regarding movement of a moving body having a photographing function in the predetermined area and generation of planning information regarding photographing (18) A step of acquiring image data relating to a predetermined area on a map, and Based on the image data, a step of generating a predicted image that is predicted to be acquired when shooting is performed in the predetermined area, and A program that causes a computer system to perform a step of presenting a predicted image based on an instruction regarding movement of a moving body having a photographing function within the predetermined area and generation of planning information regarding photographing.
- An acquisition unit that acquires image data related to a predetermined area on the map, and An image generation unit that generates a predicted image that is predicted to be acquired when shooting is performed in the predetermined area based on the image data.
- a presenting unit that presents the predicted image based on an instruction regarding movement of a moving body having a photographing function within the predetermined area and generation of planning information regarding photographing.
- An information processing device having a plan generation unit that generates the plan information based on the input instruction regarding the generation of the plan information.
- An information processing system having a photographing unit and including a moving body that executes photography while moving within the predetermined area based on the planning information generated by the information processing apparatus.
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Remote Sensing (AREA)
- Aviation & Aerospace Engineering (AREA)
- Radar, Positioning & Navigation (AREA)
- Automation & Control Theory (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Microelectronics & Electronic Packaging (AREA)
- Mechanical Engineering (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Computer Networks & Wireless Communication (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
- Navigation (AREA)
- Traffic Control Systems (AREA)
Abstract
本技術の一形態に係る情報処理装置は、取得部と、画像生成部と、提示部とを具備する。前記取得部は、地図上の所定の領域に関する画像データを取得する。前記画像生成部は、前記画像データに基づいて、前記所定の領域内で撮影が行われた場合に取得されると予測される予測画像を生成する。前記提示部は、撮影機能を有する移動体の前記所定の領域内における移動及び撮影に関する計画情報の生成に関する指示に基づいて、前記予測画像を提示する。
Description
本技術は、移動体の自律移動の制御に適用可能な情報処理装置、情報処理方法、プログラム、及び情報処理システムに関する。
特許文献1には、航空写真測量を行う航空機等の移動経路をシミュレーションするための技術が開示されている。特許文献1に記載のシミュレーション方法は、焦点距離等の撮影条件と、投影不可領域の大きさに関する閾値とが設定された撮影コースがコンピュータに入力される。設定された撮影コース内の領域の大きさが閾値を超えた場合、その領域が投影不可領域と判定される。また判定された投影不可領域が撮影コースを占める割合が多い場合、その撮影コースがシミュレーションとして適切ではないと判定される。これにより、1回で有効な航空写真を撮像することができる撮影コースが立てられるため、安価で正確な航空写真測量が可能となるように図られている(特許文献1の明細書段落[0013][0028]図1、図3等)。
このように、撮影機能を有する移動体の移動及び撮影に関して、移動前に予め撮影画像又は映像を予測し、その画像又は映像を検証して得られる計画情報を生成する事が可能となる技術が求められている。
以上のような事情に鑑み、本技術の目的は、撮影機能を有する移動体の移動及び撮影に関して、計画情報を生成する事が可能な情報処理装置、情報処理方法、プログラム、及び情報処理システムを提供することにある。
上記目的を達成するため、本技術の一形態に係る情報処理装置は、取得部と、画像生成部と、提示部とを具備する。
前記取得部は、地図上の所定の領域に関する画像データを取得する。
前記画像生成部は、前記画像データに基づいて、前記所定の領域内で撮影が行われた場合に取得されると予測される予測画像を生成する。
前記提示部は、撮影機能を有する移動体の前記所定の領域内における移動及び撮影に関する計画情報の生成に関する指示に基づいて、前記予測画像を提示する。
前記取得部は、地図上の所定の領域に関する画像データを取得する。
前記画像生成部は、前記画像データに基づいて、前記所定の領域内で撮影が行われた場合に取得されると予測される予測画像を生成する。
前記提示部は、撮影機能を有する移動体の前記所定の領域内における移動及び撮影に関する計画情報の生成に関する指示に基づいて、前記予測画像を提示する。
この情報処理装置では、地図上の所定の領域に関する画像データが取得される。画像データに基づいて、所定の領域内で撮影が行われた場合に取得されると予測される予測画像が生成される。予測画像は、撮影機能を有する移動体の所定の領域内における移動及び撮影に関する計画情報の生成に関する指示に基づいて提示される。これにより、撮影機能を有する移動体の移動及び撮影に関して、計画情報を生成することができる。
前記提示部は、前記計画情報の生成に関する指示を入力するための、前記予測画像を含むGUI(Graphical User Interface)を出力してもよい。
前記画像生成部は、前記所定の領域内の位置、又は撮影条件の少なくとも一方に関する指示に基づいて、前記予測画像を生成してもよい。
前記撮影条件は、撮影方向、撮影時間、又は前記所定の領域に関する環境情報の少なくとも1つを含んでもよい。
前記画像生成部は、前記所定の領域内に存在する対象物を選択する指示に基づいて、前記対象物が撮影されている前記予測画像を生成してもよい。
前記画像生成部は、前記対象物を選択する指示に関する前記予測画像の生成ルールに基づいて、前記予測画像を生成してもよい。
前記生成ルールは、前記対象物を分類する分類情報と、前記分類情報に関連付けられた情報として、前記対象物に対する相対的な撮影位置、又は前記予測画像内の前記対象物の表示状態の少なくとも一方の情報とを含んでもよい。
前記画像生成部は、選択対象となった前記対象物の位置情報に基づいて予測候補画像を生成し、前記予測画像内の前記対象物の表示状態に関して前記予測候補画像を評価することで、前記予測画像を生成してもよい。
前記情報処理装置は、さらに、入力された前記計画情報の生成に関する指示に基づいて、前記計画情報を生成する計画生成部を具備してもよい。
前記計画生成部は、提示された前記予測画像を選択する指示に基づいて、前記計画情報を生成してもよい。
前記計画情報は、経由地点、移動時間、又は撮影条件のうち少なくとも1つを含んでもよい。
前記画像データは、撮影機能を有する走査用の移動体が、前記所定の領域内を走査しながら撮影することで取得された画像データであってもよい。
前記画像データは、全天球画像データを含んでもよい。
前記情報処理装置は、さらに、前記計画情報に基づいて、前記撮影機能を有する移動体の移動及び撮影に関する動作を制御する制御部を具備してもよい。
前記情報処理装置は、さらに、前記走査用の移動体の前記所定の領域内の走査及び撮影に関する走査用の計画情報を生成する走査用生成部を具備してもよい。
前記走査用の計画情報は、走査経路に関するコスト情報を含んでもよい。この場合、前記コスト情報は、過去に通過した走査経路に基づいて生成されてもよい。
本技術の一形態に係る情報処理方法は、コンピュータシステムにより実行される情報処理方法であって、地図上の所定の領域に関する画像データを取得することを含む。
前記画像データに基づいて、前記所定の領域内で撮影が行われた場合に取得されると予測される予測画像が生成される。
撮影機能を有する移動体の前記所定の領域内における移動及び撮影に関する計画情報の生成に関する指示に基づいて、前記予測画像が提示される。
前記画像データに基づいて、前記所定の領域内で撮影が行われた場合に取得されると予測される予測画像が生成される。
撮影機能を有する移動体の前記所定の領域内における移動及び撮影に関する計画情報の生成に関する指示に基づいて、前記予測画像が提示される。
本技術の一形態に係るプログラムは、コンピュータシステムに以下のステップを実行させる。
地図上の所定の領域に関する画像データを取得するステップ。
前記画像データに基づいて、前記所定の領域内で撮影が行われた場合に取得されると予測される予測画像を生成するステップ。
撮影機能を有する移動体の前記所定の領域内における移動及び撮影に関する計画情報の生成に関する指示に基づいて、前記予測画像を提示するステップ。
地図上の所定の領域に関する画像データを取得するステップ。
前記画像データに基づいて、前記所定の領域内で撮影が行われた場合に取得されると予測される予測画像を生成するステップ。
撮影機能を有する移動体の前記所定の領域内における移動及び撮影に関する計画情報の生成に関する指示に基づいて、前記予測画像を提示するステップ。
本技術の一形態に関わる情報処理システムは、情報処理装置と、移動体とを具備する。
前記情報処理装置は、取得部と、画像生成部と、提示部と、計画生成部とを有する。
前記取得部は、地図上の所定の領域に関する画像データを取得する。
前記画像生成部は、前記画像データに基づいて、前記所定の領域内で撮影が行われた場合に取得されると予測される予測画像を生成する。
前記提示部は、撮影機能を有する移動体の前記所定の領域内における移動及び撮影に関する計画情報の生成に関する指示に基づいて、前記予測画像を提示する。
前記計画生成部は、入力された前記計画情報の生成に関する指示に基づいて、前記計画情報を生成する。
前記移動体は、撮影部を有し、前記情報処理装置により生成された前記計画情報に基づいて、前記所定の領域内を移動しながら撮影を実行する。
前記情報処理装置は、取得部と、画像生成部と、提示部と、計画生成部とを有する。
前記取得部は、地図上の所定の領域に関する画像データを取得する。
前記画像生成部は、前記画像データに基づいて、前記所定の領域内で撮影が行われた場合に取得されると予測される予測画像を生成する。
前記提示部は、撮影機能を有する移動体の前記所定の領域内における移動及び撮影に関する計画情報の生成に関する指示に基づいて、前記予測画像を提示する。
前記計画生成部は、入力された前記計画情報の生成に関する指示に基づいて、前記計画情報を生成する。
前記移動体は、撮影部を有し、前記情報処理装置により生成された前記計画情報に基づいて、前記所定の領域内を移動しながら撮影を実行する。
以下、本技術に係る実施形態を、図面を参照しながら説明する。
<第1の実施形態>
[ドローン撮影システム]
図1は、本技術の第1の実施形態に係るドローン撮影システム100の構成例を示す概略図である。ドローン撮影システム100は、本技術に関わる情報処理システムの一実施形態に相当する。
[ドローン撮影システム]
図1は、本技術の第1の実施形態に係るドローン撮影システム100の構成例を示す概略図である。ドローン撮影システム100は、本技術に関わる情報処理システムの一実施形態に相当する。
ドローン撮影システム100は、サーバ装置10と、ユーザ端末30と、ドローン50とを含む。サーバ装置10と、ユーザ端末30と、ドローン50とは、ネットワーク35を介して通信可能に接続される。
ネットワーク35は、例えばインターネットや広域通信回線網等により構築される。その他、任意のWAN(Wide Area Network)やLAN(Local Area Network)等が用いられてよく、ネットワーク35を構築するためのプロトコルは限定されない。
サーバ装置10は、ドローン撮影システム100に関するアプリケーションサービスを提供可能である。本実施形態では、サーバ装置10は、ユーザ31の指示に基づいて、ドローン50の計画情報を生成する。計画情報は、地図上の所定の領域内における移動及び撮影に関する計画情報であり、後に詳しく説明する。サーバ装置10は、本技術に係る情報処理装置の一実施形態として機能する。
サーバ装置10は、データベース5を有し、ドローン撮影システム100に関する種々の情報を記憶させることが可能である。またサーバ装置10は、データベース5から種々の情報を読み出して、ユーザ端末30等に出力することが可能である。
ユーザ端末30は、ユーザ31により使用可能な種々の装置を含む。例えばPC(Personal Computer)やスマートフォン等が、ユーザ端末30として用いられる。ユーザ31は、ユーザ端末30を介して、ドローン撮影システム100を利用可能である。
ドローン50は、自律移動制御部(図示は省略)、撮像装置51、及びプロペラ52を含む駆動系を有する移動体である。自律移動制御部は、ドローン50の自律移動(自律飛行)に関する種々の制御を行う。例えば、自律移動制御部は、自己位置推定、周囲の状況分析、コストマップ等を用いた行動計画、駆動系の制御等を実行する。
また自律移動制御部は、撮像装置51による撮影動作を制御することも可能である。本実施形態では、サーバ装置10により生成された計画情報に基づいて、ドローン50の自律飛行及び自動撮影が実行される。ドローン50の自律飛行及び自動撮影を実現するための構成や方法等は限定されず、任意の技術が用いられてよい。
撮像装置51としては、例えばCMOS(Complementary Metal-Oxide Semiconductor)センサやCCD(Charge Coupled Device)センサ等のイメージセンサを備えるデジタルカメラが用いられる。その他、例えば赤外線LED等の赤外線照明を搭載した赤外線カメラが用いられてもよい。本実施形態において、ドローン50は、撮影機能を有する移動体に相当する。また撮像装置51は、撮影部に相当する。
撮像装置51により撮影される画像は、静止画像及び動画像(映像)の両方を含む。本開示において、「画像」は、静止画像及び動画像(映像)の両方を含む概念である。
撮像装置51により撮影される画像は、静止画像及び動画像(映像)の両方を含む。本開示において、「画像」は、静止画像及び動画像(映像)の両方を含む概念である。
本実施形態では、ネットワーク35、サーバ装置10、及びデータベース5により、いわゆるクラウドサービスが提供される。従ってユーザ端末30は、クラウドネットワークに接続されているとも言える。
なお、サーバ装置10とユーザ端末30とを通信可能に接続するための方法は限定されない。例えば、クラウドネットワークを構築することなく、Bluetooth(登録商標)等の近距離無線通信により両者が接続されてもよい。
なお、サーバ装置10とユーザ端末30とを通信可能に接続するための方法は限定されない。例えば、クラウドネットワークを構築することなく、Bluetooth(登録商標)等の近距離無線通信により両者が接続されてもよい。
図2は、ドローン撮影システム100を利用した撮影例の概要を示すフローチャートである。
ユーザ31は、ドローン50により、所望の風景や建物等を撮影させるために、ドローン撮影システム100を利用する。例えばユーザ31により、ユーザ端末30を介して、ドローン撮影システム100に関するアプリケーションプログラムが起動される。
ユーザ31は、ドローン50により、所望の風景や建物等を撮影させるために、ドローン撮影システム100を利用する。例えばユーザ31により、ユーザ端末30を介して、ドローン撮影システム100に関するアプリケーションプログラムが起動される。
サーバ装置10により、計画情報を生成するための計画生成用GUI(Graphical User Interface)が生成され、ユーザ端末30に送信される。送信された計画生成用GUIは、ユーザ端末30のディスプレイ等に表示される(ステップ101)。
本開示にて、計画情報とは、撮影機能を有する移動体の、所定の領域内における移動及び撮影に関する計画情報である。本実施形態では、サーバ装置10が生成する、地図上の所定の領域内における移動及び撮影に関する計画情報が相当する。例えば、ドローン50を所定の領域内においてどのように移動させ、どのように撮影させるかに関する種々の情報が、計画情報に含まれる。
なお地図上の所定の領域は、典型的には、ユーザ31がドローン50を飛ばして撮影を実行させた領域であり、ユーザ31により指定される。
計画情報は、例えば経由地点(ウェイポイント)、経路、移動時間、撮影条件、機体姿勢等を含む。
なお地図上の所定の領域は、典型的には、ユーザ31がドローン50を飛ばして撮影を実行させた領域であり、ユーザ31により指定される。
計画情報は、例えば経由地点(ウェイポイント)、経路、移動時間、撮影条件、機体姿勢等を含む。
経由地点は、ドローン50が経由する地点であり、例えば緯度、経度、高度等により規定される。移動時間は、ドローン50が経由地点を通過する時間や、経由地点間の経路を移動する際にかかる時間等を含む。移動時間として、絶対的な時間情報が設定されてもよい。あるいは、ドローン50が飛行を開始したタイミングを基準とした相対的な時間情報が設定されてもよい。
撮影条件は、例えば撮影方向、撮影時間、所定の領域に関する環境情報等を含む。撮影方向は、撮像装置51の撮影する向き(撮影光軸方向)に相当し、例えば機体姿勢を基準とした撮像装置51の向きにより規定される。従って、機体姿勢を、撮影条件に含まれる情報として見做すことも可能である。
撮影条件は、例えば撮影方向、撮影時間、所定の領域に関する環境情報等を含む。撮影方向は、撮像装置51の撮影する向き(撮影光軸方向)に相当し、例えば機体姿勢を基準とした撮像装置51の向きにより規定される。従って、機体姿勢を、撮影条件に含まれる情報として見做すことも可能である。
環境情報は、周囲の環境に関する情報である。例えば、天候、季節、日照時間、明るさ、太陽の位置、及び月の位置等の情報が、環境情報に含まれる。例えばユーザ31は、晴れた日の夕日や、冬の満月を撮影する旨等の計画情報を生成することも可能である。
ユーザ端末30に表示された計画生成用GUIを介して、計画情報生成指示が入力される(ステップ102)。本実施形態において、ユーザ31により入力される計画情報生成指示は、撮影機能を有する移動体の、所定の領域内における移動及び撮影に関する計画情報の生成に関する指示に相当する。
サーバ装置10により、入力された計画情報生成指示に基づいて、計画情報が生成される(ステップ103)。生成された計画情報は、ドローン50に送信される(ステップ104)。
ドローン50は、サーバ装置10により生成された計画情報に従って、自律飛行及び自動撮影を実行する(ステップ105)。
サーバ装置10により、入力された計画情報生成指示に基づいて、計画情報が生成される(ステップ103)。生成された計画情報は、ドローン50に送信される(ステップ104)。
ドローン50は、サーバ装置10により生成された計画情報に従って、自律飛行及び自動撮影を実行する(ステップ105)。
また計画情報は、シナリオ計画情報、及び走査計画情報を含む。
シナリオ計画情報は、後に説明する予測画像又は予測動画の生成後に特定された、地図上の所定の領域内における移動及び撮影に関する計画情報である。本実施形態では、ドローン50は、サーバ装置10から送信されたシナリオ計画情報に従い自律飛行し、撮影を行う。
走査計画情報は、後に説明する走査範囲に関する指示情報に基づいて生成された計画情報である。例えば、走査計画情報は、走査用のドローン(以下、走査用ドローン60と記載する)が走査する走査範囲の面積(体積)や形状、走査する際の撮影等の走査設定を含む。走査用ドローン60は、送信された走査計画情報に従い自律飛行し、撮影を行う。
なお、走査用ドローン60に送信される走査計画情報の生成に対しても上記のステップ101からステップ105の処理が行われる。
シナリオ計画情報は、後に説明する予測画像又は予測動画の生成後に特定された、地図上の所定の領域内における移動及び撮影に関する計画情報である。本実施形態では、ドローン50は、サーバ装置10から送信されたシナリオ計画情報に従い自律飛行し、撮影を行う。
走査計画情報は、後に説明する走査範囲に関する指示情報に基づいて生成された計画情報である。例えば、走査計画情報は、走査用のドローン(以下、走査用ドローン60と記載する)が走査する走査範囲の面積(体積)や形状、走査する際の撮影等の走査設定を含む。走査用ドローン60は、送信された走査計画情報に従い自律飛行し、撮影を行う。
なお、走査用ドローン60に送信される走査計画情報の生成に対しても上記のステップ101からステップ105の処理が行われる。
図3は、本実施形態に係るサーバ装置10の機能的な構成例を示すブロック図である。図4は、計画生成用GUIの一例を示す模式図である。
サーバ装置10は、例えばCPU、ROM、RAM、及びHDD等のコンピュータの構成に必要なハードウェアを有する(図15参照)。CPUがROM等に予め記録されている本技術に係るプログラムをRAMにロードして実行することにより、図3に例示する各機能ブロックが実現され、本技術に係る情報処理方法が実行される。
例えばPC等の任意のコンピュータにより、サーバ装置10を実現することが可能である。もちろんFPGA、ASIC等のハードウェアが用いられてもよい。また図3に示す各ブロックを実現するために、IC(集積回路)等の専用のハードウェアが用いられてもよい。
プログラムは、例えば種々の記録媒体を介してサーバ装置10にインストールされる。あるいは、インターネット等を介してプログラムのインストールが実行されてもよい。
サーバ装置10は、例えばCPU、ROM、RAM、及びHDD等のコンピュータの構成に必要なハードウェアを有する(図15参照)。CPUがROM等に予め記録されている本技術に係るプログラムをRAMにロードして実行することにより、図3に例示する各機能ブロックが実現され、本技術に係る情報処理方法が実行される。
例えばPC等の任意のコンピュータにより、サーバ装置10を実現することが可能である。もちろんFPGA、ASIC等のハードウェアが用いられてもよい。また図3に示す各ブロックを実現するために、IC(集積回路)等の専用のハードウェアが用いられてもよい。
プログラムは、例えば種々の記録媒体を介してサーバ装置10にインストールされる。あるいは、インターネット等を介してプログラムのインストールが実行されてもよい。
図3に示すように、サーバ装置10は、通信制御部11と、GUI生成部12と、シナリオ計画情報生成部13とを有する。
通信制御部11は、ユーザ端末30及びドローン50との通信を制御する。例えば通信制御部11により、ユーザ端末30を介して入力されたシナリオ計画情報の生成指示が受信され、GUI生成部12及びシナリオ計画情報生成部13に供給される。またシナリオ計画情報生成部13により生成されたシナリオ計画情報がドローン50に送信される。
本実施形態において、通信制御部11は、シナリオ計画情報に基づいて、撮影機能を有する移動体の移動及び撮影に関する動作を制御する制御部として機能する。すなわちドローン50へのシナリオ計画情報の送信が、ドローン50の自律飛行及び自動撮影の制御となる。
これに限定されず、サーバ装置10により、ドローン50の自律飛行及び自動撮影が、遠隔でリアルタイムに制御されてもよい。この場合、ドローン50を遠隔で制御するブロックが、制御部として機能する。
本実施形態において、通信制御部11は、シナリオ計画情報に基づいて、撮影機能を有する移動体の移動及び撮影に関する動作を制御する制御部として機能する。すなわちドローン50へのシナリオ計画情報の送信が、ドローン50の自律飛行及び自動撮影の制御となる。
これに限定されず、サーバ装置10により、ドローン50の自律飛行及び自動撮影が、遠隔でリアルタイムに制御されてもよい。この場合、ドローン50を遠隔で制御するブロックが、制御部として機能する。
GUI生成部12は、地図データ取得部14、地図画像生成部15、タイムライン生成部16、指示情報取得部17、画像データ取得部18、予測画像生成部19、及び画像データ送信部20を有する。なお地図データDB24及び画像データDB25は、図1に示すデータベース5内に構築される。
GUI生成部12に含まれる各ブロックが協働することで、図4に例示する計画生成用GUI110が生成される。
本実施形態では、計画生成用GUI110は、地図表示部111と、撮影条件設定部112と、タイムライン表示部113と、予測画像表示部114と、プレビュー設定ボタン115と、動画プレビューボタン116と、シナリオ実行ボタン117と、開くボタン126と、保存ボタン127とを有する。
GUI生成部12に含まれる各ブロックが協働することで、図4に例示する計画生成用GUI110が生成される。
本実施形態では、計画生成用GUI110は、地図表示部111と、撮影条件設定部112と、タイムライン表示部113と、予測画像表示部114と、プレビュー設定ボタン115と、動画プレビューボタン116と、シナリオ実行ボタン117と、開くボタン126と、保存ボタン127とを有する。
地図表示部111には、建物や道路等を含む地図が表示される。なお図4では、シナリオ計画情報に含まれる経由地点と、経由地点間を結ぶ経路とが図示され、道路や地図等の地図に関する図示は省略されている。なお、ユーザ31の指示により、地図及び経由地点等が両方表示されるモード、地図のみが表示されるモード、及び経由地点等のみが表示されるモードが、切替可能であってもよい。
ユーザ31により、地図表示部111に表示される地図が指定される。例えば、ドローン50により撮影を所望する領域を含む地図が指定される。地図を指定する方法は限定されず、例えば住所の入力に基づいて地図が表示され、その後、スクロール操作や拡大/縮小操作等により、地図表示部111に、撮影を所望する領域を含む地図が表示される。
ユーザ31により、地図表示部111に表示される地図が指定される。例えば、ドローン50により撮影を所望する領域を含む地図が指定される。地図を指定する方法は限定されず、例えば住所の入力に基づいて地図が表示され、その後、スクロール操作や拡大/縮小操作等により、地図表示部111に、撮影を所望する領域を含む地図が表示される。
あるいは、ユーザ31により、特定の建物、山、湖等(以下、ランドマークと記載する)が指定されてもよい。特定のランドマークを指定する指示に応じて、当該ランドマークを含む地図が、地図表示部111に表示される。もちろん、これらの方法に限定されず、他の任意の方法が採用されてよい。
本実施形態において、ランドマークは、所定の領域内に存在する対象物に相当する。また撮影を所望する領域は、地図上の所定の領域に相当する。典型的には、地図表示部111に表示される領域全体が、撮影を所望する領域として設定される。
本実施形態において、ランドマークは、所定の領域内に存在する対象物に相当する。また撮影を所望する領域は、地図上の所定の領域に相当する。典型的には、地図表示部111に表示される領域全体が、撮影を所望する領域として設定される。
図3に示す指示情報取得部17により、計画生成用GUI110を介して、ユーザ31から入力される種々の指示に関する指示情報が取得される。地図表示部111での地図の表示に関する指示(指示情報)は、地図データ取得部14に出力される。
地図データ取得部14により、指示情報に基づいて、地図データDB24から地図データが取得される。例えば地図データDB24には、種々の地図データが格納される。例えば、ランドマークの情報と、緯度経度の情報とが関連付けられて記憶される。これにより、ランドマークの指定に応じて、ランドマークを含む地図データを取得することが可能となる。
地図画像生成部15は、地図データ取得部14により取得された地図データに基づいて、計画生成用GUI110の地図表示部111に表示される地図の画像データを生成する。例えば、表示領域、倍率、ランドマークの表示の有無等が、適宜設定される。
地図画像生成部15により生成された画像データは、画像データ送信部20により、ユーザ端末30に送信される。これにより、計画生成用GUI110内の地図表示部111に、地図が表示される。またユーザが地図をスクロールする操作等に応じて、地図の表示が適宜更新される。
地図画像生成部15は、地図データ取得部14により取得された地図データに基づいて、計画生成用GUI110の地図表示部111に表示される地図の画像データを生成する。例えば、表示領域、倍率、ランドマークの表示の有無等が、適宜設定される。
地図画像生成部15により生成された画像データは、画像データ送信部20により、ユーザ端末30に送信される。これにより、計画生成用GUI110内の地図表示部111に、地図が表示される。またユーザが地図をスクロールする操作等に応じて、地図の表示が適宜更新される。
また本実施形態では、図4に例示するように、ユーザ31により、地図表示部111に表示された地図内の任意の地点が選択可能である。選択された地点は、経由地点121として設定され識別可能に表示される。複数の経由地点121同士が結ばれることで、ドローン50の移動経路122が生成される。
このように、本実施形態では、計画生成用GUI110を介して、地図(撮影を所望する領域)内の位置を指示することが可能である。
経由地点121の指示は、地図上にポインタを移動させ、決定ボタンを選択することで入力可能である。あるいは、緯度及び経度の入力が実行されてもよい。あるいは、地図上の所定のランドマークを選択することにより、経由地点121を指示することも可能である。
例えばランドマークとして、東京タワーが選択されると、東京タワーが存在する地点(東京タワーの緯度及び経度の地点)が、経由地点121として指定される。もちろん、東京タワーの選択に応じて、東京タワーの近辺の地点が、経由地点121として指定されてもよい。
またドローン50の移動経路122を生成する方法は限定されない。例えば、ユーザ31が選択した経由地点の順番ごとに結ばれてもよい。また建物等によりドローン50が地図表示部111に表示される移動経路122に従って移動できない場合に、移動経路122が生成できない旨の表示がされてもよい。
このように、本実施形態では、計画生成用GUI110を介して、地図(撮影を所望する領域)内の位置を指示することが可能である。
経由地点121の指示は、地図上にポインタを移動させ、決定ボタンを選択することで入力可能である。あるいは、緯度及び経度の入力が実行されてもよい。あるいは、地図上の所定のランドマークを選択することにより、経由地点121を指示することも可能である。
例えばランドマークとして、東京タワーが選択されると、東京タワーが存在する地点(東京タワーの緯度及び経度の地点)が、経由地点121として指定される。もちろん、東京タワーの選択に応じて、東京タワーの近辺の地点が、経由地点121として指定されてもよい。
またドローン50の移動経路122を生成する方法は限定されない。例えば、ユーザ31が選択した経由地点の順番ごとに結ばれてもよい。また建物等によりドローン50が地図表示部111に表示される移動経路122に従って移動できない場合に、移動経路122が生成できない旨の表示がされてもよい。
本実施形態では、経由地点121を指定する指示情報に基づいて、地図画像生成部15により、経由地点121及び移動経路122を含む画像データが生成される。もちろん、地図画像生成部15とは別のブロックにより、経由地点121及び移動経路122の画像が生成され、地図に重畳されてもよい。
図4に示す撮影条件設定部112は、撮影条件を設定するためのGUIである。本実施形態では、経由地点121ごとに撮影条件が設定される。すなわち経由地点121に到達したドローン50により、どのような撮影を実行させるかに関する指示を、入力することが可能である。もちろん移動経路を進行中のドローン50に撮影を実行させることも可能である。
図4に示すように、本実施形態では、高度(m)、機体姿勢(度)、カメラの向き(ロール角、ピッチ角、ヨー角)を入力することが可能である。
例えば、高度は地面との距離として設定することができる。機体姿勢は、ドローン50の地面に設置された状態や所定の方角を基準に所定の方向にヨー角として傾いた角度として設定することができる。また例えばカメラの向きは、ドローン50の正面方向を基準として、ロール角、ピッチ角、及びヨー角を設定することができる。なお、機体姿勢や、カメラの向きを規定するための座標系は、任意に設定されてよい。例えば飛行前のドローン50の設置状態等を基準に座標系が設定される。もちろんこれに限定される訳ではない。またカメラの向きは、撮影方向に相当する。
図4に示すように、本実施形態では、高度(m)、機体姿勢(度)、カメラの向き(ロール角、ピッチ角、ヨー角)を入力することが可能である。
例えば、高度は地面との距離として設定することができる。機体姿勢は、ドローン50の地面に設置された状態や所定の方角を基準に所定の方向にヨー角として傾いた角度として設定することができる。また例えばカメラの向きは、ドローン50の正面方向を基準として、ロール角、ピッチ角、及びヨー角を設定することができる。なお、機体姿勢や、カメラの向きを規定するための座標系は、任意に設定されてよい。例えば飛行前のドローン50の設置状態等を基準に座標系が設定される。もちろんこれに限定される訳ではない。またカメラの向きは、撮影方向に相当する。
図4に例示する撮影条件設定部112を下方にスクロールすることで、他のパラメータを指定することも可能である。例えば撮影時間、環境情報、移動速度、移動を開始する時刻、移動の終了時刻等、種々の撮影条件や自律飛行に関する種々のパラメータが設定可能であってよい。
なお、撮影条件が設定される対象となる経由地点123については、他の経由地点と識別可能に表示される。例えば図4に示す例では、撮影条件が設定される経由地点123が、星印で表示される。もちろん、このような表示形態に限定される訳ではない。
予測画像表示部114には、ドローン50により撮影が行われた場合に取得されると予測される予測画像124が表示される。予測画像124の表示は、ドローン50によって撮影が行われた場合に取得されると予測される画像のプレビュー表示とも言える。また予測画像124は、ドローン50が撮影を行った場合の、シミュレーション画像とも言える。
図3に示す指示情報取得部17により、経由地点121の選択に関する指示情報と、経由地点121ごとの撮影条件の指定に関する指示情報とが取得され、画像データ取得部18に出力される。
画像データ取得部18は、指示情報に基づいて、画像データDB25から、地図上の所定の領域に関する画像データを取得する。本実施形態では、ユーザ31により指定された地図(撮影を所望する領域)の画像データが取得される。なお、本実施形態において、画像データ取得部18は、地図上の所定の領域に関する画像データを取得する取得部に相当する。
画像データDB25には、地図上の種々の領域や種々のランドマーク等に関する画像データが格納されている。
例えば、地図上の領域を360°カメラ等を有したドローンが走査しながら撮影を行うことで取得される全天球画像の画像データが格納される。すなわち、撮影機能を有する走査用の移動体が、所定の領域内を走査しながら撮影することで、画像データが取得されてもよい。もちろん全天球画像データ以外の撮影画像データが用いられてもよい。
あるいは画像データとして、3Dポリゴン等の仮想的な画像が用いられてもよい。例えば所定の領域に含まれる建物や風景等を、任意の座標及び高度、任意の方向から見た仮想的な画像が、画像データとして保持されてもよい。
図3に示す地図データDB24に格納される地図データ、及び画像データDB25に格納される画像データの取得方法やデータ形式等は限定されない。例えば、ネットワーク35を介して、地図データ及び画像データが取得されてもよい。
本実施形態において、画像データは、地図上の所定の領域に関する画像データに相当する。
例えば、地図上の領域を360°カメラ等を有したドローンが走査しながら撮影を行うことで取得される全天球画像の画像データが格納される。すなわち、撮影機能を有する走査用の移動体が、所定の領域内を走査しながら撮影することで、画像データが取得されてもよい。もちろん全天球画像データ以外の撮影画像データが用いられてもよい。
あるいは画像データとして、3Dポリゴン等の仮想的な画像が用いられてもよい。例えば所定の領域に含まれる建物や風景等を、任意の座標及び高度、任意の方向から見た仮想的な画像が、画像データとして保持されてもよい。
図3に示す地図データDB24に格納される地図データ、及び画像データDB25に格納される画像データの取得方法やデータ形式等は限定されない。例えば、ネットワーク35を介して、地図データ及び画像データが取得されてもよい。
本実施形態において、画像データは、地図上の所定の領域に関する画像データに相当する。
予測画像生成部19により、画像データ取得部18により取得された画像データに基づいて、予測画像124が生成される。
予測画像生成部19は、指示情報に含まれる経由地点123及び撮影条件に基づいて、予測画像124を生成する。例えば、経由地点123の緯度、経度、及び高度と、撮影方向とに基づいて、ドローン50が実際に撮影した場合に、取得されると予測される予測画像が生成される。
その他、予測画像124の生成方法は限定されず、任意の方法が採用されてよい。例えば経由地点123から走査用のドローンにより撮影された画像が存在する場合、その画像に基づいて予測画像124が生成される。例えば、走査用のドローンにより撮影された画像が、そのまま予測画像124として用いられてもよい。
予測画像生成部19は、指示情報に含まれる経由地点123及び撮影条件に基づいて、予測画像124を生成する。例えば、経由地点123の緯度、経度、及び高度と、撮影方向とに基づいて、ドローン50が実際に撮影した場合に、取得されると予測される予測画像が生成される。
その他、予測画像124の生成方法は限定されず、任意の方法が採用されてよい。例えば経由地点123から走査用のドローンにより撮影された画像が存在する場合、その画像に基づいて予測画像124が生成される。例えば、走査用のドローンにより撮影された画像が、そのまま予測画像124として用いられてもよい。
ユーザ31が指定した経由地点123から走査用のドローンが撮影行っていない場合は、例えば、周辺の地点から撮影された複数の画像に基づいて、予測画像124を生成することも可能である。例えば、自由視点映像技術等を用いることで、周辺の画像から予測画像124を生成することが可能である。これにより、精度の高い予測画像124を生成することが可能となり、高品質な計画情報を生成することが可能となる。
あるいは、ユーザ31が指定した経由地点123から走査用のドローンが撮影行っていない場合には、経由地点に最も近い地点から撮影された画像に基づいて、予測画像124が生成される。すなわち画像データに含まれる最も近いであろう1つの画像が、予測画像124として選択される。これにより、処理負担の軽減化、処理の高速化を図ることが可能となる。
その他、例えばDNN(Deep Neural Network:深層ニューラルネットワーク)等を用いた任意の機械学習アルゴリズムが用いられてもよい。例えばディープラーニング(深層学習)を行うAI(人工知能)等を用いることで、予測画像124の生成精度を向上させることが可能となる。なお、機械学習については、本開示内の他の種々の技術に関しても同様に適用されてよい。
あるいは、ユーザ31が指定した経由地点123から走査用のドローンが撮影行っていない場合には、経由地点に最も近い地点から撮影された画像に基づいて、予測画像124が生成される。すなわち画像データに含まれる最も近いであろう1つの画像が、予測画像124として選択される。これにより、処理負担の軽減化、処理の高速化を図ることが可能となる。
その他、例えばDNN(Deep Neural Network:深層ニューラルネットワーク)等を用いた任意の機械学習アルゴリズムが用いられてもよい。例えばディープラーニング(深層学習)を行うAI(人工知能)等を用いることで、予測画像124の生成精度を向上させることが可能となる。なお、機械学習については、本開示内の他の種々の技術に関しても同様に適用されてよい。
予測画像生成部19により生成された予測画像124の画像データは、画像データ送信部20により、ユーザ端末30に送信される。これにより、計画生成用GUI110内の予測画像表示部114に、予測画像124が表示される。またユーザによる経由地点123を切替える指示や、撮影条件を変更する指示等に応じて、予測画像124の表示が適宜更新される。
このように、本実施形態では、撮影機能を有する移動体の地図上の所定の領域内における移動及び撮影に関するシナリオ計画情報の生成に関する指示に基づいて、予測画像124が提示される。具体的には、シナリオ計画情報の生成指示を入力するために、予測画像124を含む計画生成用GUIが出力される。すなわち、計画生成用GUIの出力が、予測画像124の提示に含まれる。
本実施形態において、GUI生成部12は、撮影機能を有する移動体の所定の領域内における移動及び撮影に関する計画情報の生成に関する指示に基づいて、予測画像を提示する提示部に相当する。また予測画像生成部19は、画像データに基づいて、所定の領域内で撮影が行われた場合に取得されると予測される予測画像を生成する画像生成部に相当する。
本実施形態において、GUI生成部12は、撮影機能を有する移動体の所定の領域内における移動及び撮影に関する計画情報の生成に関する指示に基づいて、予測画像を提示する提示部に相当する。また予測画像生成部19は、画像データに基づいて、所定の領域内で撮影が行われた場合に取得されると予測される予測画像を生成する画像生成部に相当する。
タイムライン表示部113には、ドローン50の飛行開始から飛行終了までの、時系列に沿った所定のパラメータの変化が表示される。例えば、所定の時間単位を基準として、ドローン50の高度、機体姿勢、カメラの向き等の撮影条件の時系列に沿った変化が、タイムラインとして表示される。またタイムライン表示部113は、ドローン50が各経由地点121に到達する際の時間情報も表示される。
タイムラインに表示される時間情報は、絶対的な時間情報が用いられてもよいし、ドローン50がシナリオ計画情報に従って自律飛行を開始する時間を基準とした、相対的な時間情報が表示されてもよい。
図4に示すように、タイムライン表示部113を横方向にスクロールすることで、所望の時間帯の撮影条件を確認することが可能となる。またタイムライン表示部113を縦方向にスクロールすることで、種々のパラメータの時系列に沿った変化を確認することが可能となる。
タイムラインに表示される時間情報は、絶対的な時間情報が用いられてもよいし、ドローン50がシナリオ計画情報に従って自律飛行を開始する時間を基準とした、相対的な時間情報が表示されてもよい。
図4に示すように、タイムライン表示部113を横方向にスクロールすることで、所望の時間帯の撮影条件を確認することが可能となる。またタイムライン表示部113を縦方向にスクロールすることで、種々のパラメータの時系列に沿った変化を確認することが可能となる。
図3に示す指示情報取得部17により、経由地点123の選択に関する指示情報と、経由地点123ごとの撮影条件の指定に関する指示情報とが取得され、タイムライン生成部16に出力される。
タイムライン生成部16は、指示情報に基づいて、タイムラインの画像データを生成する。
タイムライン生成部16により生成されたタイムラインの画像データは、画像データ送信部20により、ユーザ端末30に送信される。これにより、計画生成用GUI110内のタイムライン表示部113に、タイムラインが表示される。またユーザ31による経由地点123を切替える指示や、撮影条件を変更する指示等に応じて、タイムラインの表示が適宜更新される。
タイムライン生成部16は、指示情報に基づいて、タイムラインの画像データを生成する。
タイムライン生成部16により生成されたタイムラインの画像データは、画像データ送信部20により、ユーザ端末30に送信される。これにより、計画生成用GUI110内のタイムライン表示部113に、タイムラインが表示される。またユーザ31による経由地点123を切替える指示や、撮影条件を変更する指示等に応じて、タイムラインの表示が適宜更新される。
プレビュー設定ボタン115は、予測画像表示部114に表示される予測画像の表示(プレビュー表示)に関する種々の設定を行うためのボタンである。ユーザ31によりプレビュー設定ボタン115が選択された場合、所定の画面が開き、予測画像124に関する種々の設定を変更することが可能となる。
予測画像の表示設定としては、例えば予測画像124の精度、予測画像の加工、及び予測画像として表示される動画のFPS(Frames Per Second)等の設定が挙げられる。
予測画像の表示設定としては、例えば予測画像124の精度、予測画像の加工、及び予測画像として表示される動画のFPS(Frames Per Second)等の設定が挙げられる。
予測画像の精度について、例えば予測画像124の精度が高い高精度モードと、精度が低い低精度モードとを切替え可能に設定することが可能である。
例えば、上記した自由視点映像技術や機械学習等を実行することで、非常に精度の高い予測画像124を生成することが可能となる。一方、経由地点123に最も近い地点から撮影された画像を、予測画像124として選択することで、精度は落ちるが、処理負担が低く高速に予測画像124を表示することが可能となる。
例えば、高精度モードが設定されている場合、予測画像124の表示にタイムラグが発生する可能性がある。そのため予測画像124の精度が異なる2つのモードが計画生成用GUI110上で切替可能に構成することで、操作性の向上を図ることが可能となる。
例えば、上記した自由視点映像技術や機械学習等を実行することで、非常に精度の高い予測画像124を生成することが可能となる。一方、経由地点123に最も近い地点から撮影された画像を、予測画像124として選択することで、精度は落ちるが、処理負担が低く高速に予測画像124を表示することが可能となる。
例えば、高精度モードが設定されている場合、予測画像124の表示にタイムラグが発生する可能性がある。そのため予測画像124の精度が異なる2つのモードが計画生成用GUI110上で切替可能に構成することで、操作性の向上を図ることが可能となる。
予測画像の加工について、本実施形態では、図3に例示する予測画像生成部19により、ドローン50の撮影を行う際の撮影方向、撮影時間、又は所定の領域に関する環境情報の少なくとも1つに基づいて、予測画像が加工される。
例えば、太陽、月、明るさ、及び天気等の時間で変わる要素に基づいて、予測画像に画像加工フィルタがかけられる。また例えば、ドローン50が撮影する時間帯のうち、明度が低い場合(夜や曇り等)に、予測画像の明度を下げるような画像加工が行われる。なお、太陽、月、明るさ、及び天気等の時間で変わる要素は、撮影環境に関する環境情報に含まれる情報である。
なお、画像加工フィルタ等の種類は限定されない。例えば、計画生成用GUI110上でユーザに指定されてもよい。また天気等は緯度経度及び時刻がWebサービス等から取得されてもよい。また予測画像を加工する方法は限定されず、機械学習等が用いられてもよい。またユーザ31の指示に基づいて、複数の予測画像を時間的に繋げることで動画とすることも加工に含まれる。
例えば、太陽、月、明るさ、及び天気等の時間で変わる要素に基づいて、予測画像に画像加工フィルタがかけられる。また例えば、ドローン50が撮影する時間帯のうち、明度が低い場合(夜や曇り等)に、予測画像の明度を下げるような画像加工が行われる。なお、太陽、月、明るさ、及び天気等の時間で変わる要素は、撮影環境に関する環境情報に含まれる情報である。
なお、画像加工フィルタ等の種類は限定されない。例えば、計画生成用GUI110上でユーザに指定されてもよい。また天気等は緯度経度及び時刻がWebサービス等から取得されてもよい。また予測画像を加工する方法は限定されず、機械学習等が用いられてもよい。またユーザ31の指示に基づいて、複数の予測画像を時間的に繋げることで動画とすることも加工に含まれる。
動画のFPSの設定について、予測画像が動画像として表示される場合、ユーザ31により任意のフレームレートを選択することが可能である。例えば、データ量を少なくしたい場合は、フレームレートを落とすような設定を行うことが可能である。
動画プレビューボタン116は、予測画像表示部114に表示される予測画像124を、動画として表示させるためのボタンである(動画として表示される予測画像を、予測動画と記載する場合がある)。
ユーザ31により動画プレビューボタン116が選択された場合、ユーザ31により設定された移動経路及び撮影条件に基づいて、予測動画が表示される。例えば、移動経路122を移動するドローン50の各地点での撮影条件が設定された場合、ドローン50の各地点の予測画像が生成される。生成された予測画像を撮影された順番に並べることで、予測動画が生成される。
もちろん、各経由地点にて、動画が撮影される旨の指示が入力される場合等において、各経由地点における予測画像124が連続的に合成されて、1つの予測動画として表示されてもよい。
ユーザ31により動画プレビューボタン116が選択された場合、ユーザ31により設定された移動経路及び撮影条件に基づいて、予測動画が表示される。例えば、移動経路122を移動するドローン50の各地点での撮影条件が設定された場合、ドローン50の各地点の予測画像が生成される。生成された予測画像を撮影された順番に並べることで、予測動画が生成される。
もちろん、各経由地点にて、動画が撮影される旨の指示が入力される場合等において、各経由地点における予測画像124が連続的に合成されて、1つの予測動画として表示されてもよい。
シナリオ実行ボタン117は、ユーザ31により設定された移動経路及び撮影条件をドローン50に実行させるためのボタンである。シナリオ実行ボタン117が選択されると、それまでに入力されたシナリオ計画情報が決定される。
すなわち、予測画像124又は予測動画の生成後に特定された、地図上の所定の領域内におけるドローン50の移動及び撮影に関する計画情報が決定される。
また計画生成用GUI110は、生成されたシナリオ計画情報を保存することができる保存ボタン127と、保存されているシナリオ計画情報を表示することができる開くボタン126とを有する。これにより、例えば生成途中のシナリオ計画情報等の保存及び再表示が可能となる。
すなわち、予測画像124又は予測動画の生成後に特定された、地図上の所定の領域内におけるドローン50の移動及び撮影に関する計画情報が決定される。
また計画生成用GUI110は、生成されたシナリオ計画情報を保存することができる保存ボタン127と、保存されているシナリオ計画情報を表示することができる開くボタン126とを有する。これにより、例えば生成途中のシナリオ計画情報等の保存及び再表示が可能となる。
図3に示す計画生成部21により、シナリオ実行ボタン117の選択に応じて、シナリオ計画情報が生成される。生成されたシナリオ計画情報は、計画保持部22により保持され、データベース5に格納される。なお、保持されるシナリオ計画情報の数や保存期間等は限定されない。
図4に示す開くボタン126が選択されると、データベース5からシナリオ計画情報が読み出され、ユーザ端末30に送信される。そしてユーザ端末30に、例えば生成途中のシナリオ計画情報等が展開される。
図4に示す開くボタン126が選択されると、データベース5からシナリオ計画情報が読み出され、ユーザ端末30に送信される。そしてユーザ端末30に、例えば生成途中のシナリオ計画情報等が展開される。
図5は、シナリオ計画情報の生成の具体的な処理例を示すフローチャートである。
計画生成用GUI110の地図表示部111に、ユーザ31が指定した地図が表示される(ステップ201)。ユーザ31により、地図表示部111に表示された地図から任意の地点が選択される。またユーザ31により、撮影条件設定部112を介して、選択された各地点に関する撮影条件が設定される。
ユーザ31により指定された各経由地点の撮影条件に基づいて、予測画像が生成される。これにより、予測画像表示部114にユーザ31により設定されたシナリオ計画情報に基づく予測画像が表示される(ステップ202)。
ユーザ31がプレビュー設定ボタン115の予測画像の表示設定を変更した場合(ステップ203のYES)、予測画像の表示設定に基づいて予測画像が加工される(ステップ204)。すなわち、ユーザ31によりプレビュー設定ボタン115が選択され、設定が変更されることで予測画像表示部114内に加工された予測画像124が表示される。
ユーザ31によりプレビュー設定ボタン115の予測画像124の設定が変更されたことにより、加工された予測画像124がプレビュー設定ボタン115に表示される(ステップ205)。もちろん予測画像124の設定が変更されなかった場合(ステップ203のNO)、予測画像は表示された状態が維持される。ユーザ31によりシナリオ実行ボタン117が選択された場合(ステップ206)、計画生成部21はシナリオ計画情報を生成する(ステップ207)。
図6は、走査用ドローン60及びサーバ装置80の機能的な構成例を示すブロック図である。図7は、走査用ドローン60の走査を実行させるための走査計画生成用GUI130を示す模式図である。なお、本実施形態において、走査用ドローン60は、撮影機能を有する走査用の移動体に相当する。
走査用ドローン60は、動力部61と、センサ群62と、カメラ63と、機体制御部64と、障害物検知部65と、移動体情報算出部66と、画像データ記録部67と、行動計画部68と、コストマップ生成部69と、通信制御部70とを有する。
動力部61は、走査用ドローン60の移動を行うための駆動系に関わる各種の装置を備える。例えば、動力部61は、トルクを指定可能なサーボモータ、走査用ドローン60自体の移動の動きを分解・置換するモーションコントローラ並びに、各モータ内のセンサによるフィードバック制御装置を備える。
また例えば、動力部61は、4基ないし6基の機体上向きのプロペラを持つモータ、走査用ドローン60自体の移動の動きを各モータの回転量に分解・置換するモーションコントローラを備える。
また例えば、動力部61は、4基ないし6基の機体上向きのプロペラを持つモータ、走査用ドローン60自体の移動の動きを各モータの回転量に分解・置換するモーションコントローラを備える。
センサ群62は、走査用ドローン60の外部や内部の情報及び走査用ドローン60の自己位置を検出するための各種のセンサを備える。具体的には、例えば、センサ群62は、自己位置を検出するためのGPS(Global Positioning System)や走査用ドローン60の姿勢を計測するための磁気センサ、及び慣性計測装置(IMU)等を備える。
また例えば、センサ群62は、障害物等を検出するためのレーザ測距センサ、接触センサ、超音波センサ、レーダ、LiDAR(Light Detection and Ranging、Laser Imaging Detection and Ranging)や気圧を測るバロメータ等を備える。
また例えば、センサ群62は、障害物等を検出するためのレーザ測距センサ、接触センサ、超音波センサ、レーダ、LiDAR(Light Detection and Ranging、Laser Imaging Detection and Ranging)や気圧を測るバロメータ等を備える。
カメラ63は、走査用ドローン60の周辺を撮影し、画像データを取得する。本実施形態では、カメラ63は、周囲360度を同時に撮像可能な全方位カメラであり、ユーザ31により指定された領域内を撮影する。すなわち本実施形態では、画像データは全天球画像である。但し、画像データは、一般的な平面画像であってもよい。
なお、カメラ63の種類は限定されない。例えばCMOSセンサやCCDセンサ等のイメージセンサを備えるデジタルカメラが用いられてもよい。なお、カメラ63は、センサ群62として機能してもよい。例えば、周囲360度を同時に撮像可能なカメラとは他に、障害物を検知するためのステレオカメラ等がセンサ群62として機能してもよい。
なお、カメラ63の種類は限定されない。例えばCMOSセンサやCCDセンサ等のイメージセンサを備えるデジタルカメラが用いられてもよい。なお、カメラ63は、センサ群62として機能してもよい。例えば、周囲360度を同時に撮像可能なカメラとは他に、障害物を検知するためのステレオカメラ等がセンサ群62として機能してもよい。
機体制御部64は、行動計画部68から供給される行動計画に基づいて、走査用ドローン60の動作の制御を行う。例えば、制御信号に基づいて動力部61が動作することで、走査用ドローン60が移動する。本実施形態では、動力部61(機体制御部64)により、所定の領域を移動可能な移動機構が実現される。
障害物検知部65は、センサ群62からのデータ又は信号に基づいて、走査用ドローン60の移動を妨げる障害物を検知する。例えば、走査用ドローン60の走査計画情報の移動経路を防げるような建物等が該当する。
移動体情報算出部66は、センサ群62からのデータ又は信号に基づいて、走査用ドローン60の状態を算出する。例えば、移動体情報として、走査用ドローン60の自己位置や機体姿勢が算出される。それ以外にも、走査用ドローン60の速度、加速度、異常の有無及び内容、並びに、その他の走査用ドローン60に搭載される機器の状態等が算出される。
画像データ記録部67は、カメラ63により撮影された画像データを記録する。本実施形態では、移動体情報算出部66から供給される走査用ドローン60の各時間における緯度経度、高度、及び機体姿勢と画像データが紐づけられて記録される。また画像データ記録部67は、通信制御部70を介して、画像データをサーバ装置80へと送信する。なお、画像データを送信するタイミングは限定されない。例えば、画像データが取得された時間にリアルタイムで送信されてもよいし、走査が終了した後に一括で送信されてもよい。
行動計画部68は、コストマップ生成部69及び通信制御部70から供給される情報に基づいて、走査するための走査用ドローン60の行動計画を計画する。例えば、行動計画部68は、発進、停止、進行方向(例えば、前進、後退、左折、右折、方向転換等)、移動速度、及び撮影に関する設定等の計画を行う。また行動計画は、走査計画情報を含む。すなわち、行動計画は、走査用ドローン60の障害物の回避等の自律飛行と、所定の領域内の走査を行うための移動及び撮影とを含む。
より詳細には、行動計画部68は、ユーザ31により指示された走査範囲、撮影密度、撮影間隔、及びコストマップ等に基づいて、行動計画を計画する。例えば、走査範囲の体積(面積)に対して、走査の時間が長く設定された場合、走査範囲内の走査用ドローン60の走査する間隔が密となる。
より詳細には、行動計画部68は、ユーザ31により指示された走査範囲、撮影密度、撮影間隔、及びコストマップ等に基づいて、行動計画を計画する。例えば、走査範囲の体積(面積)に対して、走査の時間が長く設定された場合、走査範囲内の走査用ドローン60の走査する間隔が密となる。
本実施形態では、走査範囲は、直方体や球体等の形状情報、緯度経度及び高度等の位置情報、体積及び面積等のスケール情報の少なくとも1つを含む。
例えば、走査範囲が球状に設定された場合、球状の重心の位置を中心に所定の半径を持つ走査範囲が規定される。
なお、走査範囲の設定は限定されない。例えば、走査範囲の形状に応じた重心等や回転角度等が設定されてもよい。また本実施形態では、行動計画は走査範囲と走査に関する設定と移動経路とを含む。
例えば、走査範囲が球状に設定された場合、球状の重心の位置を中心に所定の半径を持つ走査範囲が規定される。
なお、走査範囲の設定は限定されない。例えば、走査範囲の形状に応じた重心等や回転角度等が設定されてもよい。また本実施形態では、行動計画は走査範囲と走査に関する設定と移動経路とを含む。
なお、行動計画が生成される具体的なアルゴリズム等は限定されず、例えば、環境を格子状に区切って、到達判定及び経路の重みを最適化して最良のパスを生成するA*algorithm(A star探索アルゴリズム)、グラフ上の2頂点間の最短経路を求めるDijkstra's algorithm(ダイクストラ法)、及び、自己位置からインクリメンタルに到達可能な場所へのパスを適切に枝刈りしながら伸ばしていくRRT(Rapidly-exploring Random Tree) algorithmなどにより行動計画が生成されてもよい。
コストマップ生成部69は、障害物検知部65及び移動体情報算出部66からの情報に基づいて、コストマップを生成する。本実施形態では、走査用ドローン60の経路を妨げる障害物等の情報と走査用ドローン60の自己位置や姿勢に基づいて、コストマップが生成される。
通信制御部70は、サーバ装置80との通信を可能とする通信制御部90との通信をする。なお通信制御部70(90)同士を通信可能に接続する方法は限定されない。例えばWANやLAN等の任意のネットワーク等が用いられる。通信制御部70(90)は、通信を確立するためのモジュールや、ルータ等の通信機器を制御することで、種々の情報(データ)を送信及び受信することが可能である。
サーバ装置80は、GUI生成部81と走査計画情報部82とを有する。GUI生成部81は、地図データ取得部83、地図画像生成部84、走査範囲設定部86、指示情報取得部85、走査時間予測部87、画像データ保持部88、画像データ送信部89、及び通信制御部90を有する。走査計画情報部82は、走査計画生成部91及び走査計画保持部92を有する。
なお、地図データ取得部83、地図画像生成部84、及び画像データ送信部89は、第1の実施形態と同様の機能を持つ。また通信制御部90は、通信制御部70と同様の機能を持つ。またサーバ装置80は、サーバ装置10の地図データDB24を有する。
なお、地図データ取得部83、地図画像生成部84、及び画像データ送信部89は、第1の実施形態と同様の機能を持つ。また通信制御部90は、通信制御部70と同様の機能を持つ。またサーバ装置80は、サーバ装置10の地図データDB24を有する。
図7に示すように、走査計画生成用GUI130は、計画生成用GUI110の地図表示部111と、走査範囲表示部132と、走査時間表示部133と、走査設定表示部134と、走査実行部135とを有する。
図6に示す指示情報取得部85により、走査用ドローン60の走査範囲に関する指示情報が走査範囲設定部86に出力される。すなわち、走査用ドローン60の走査計画情報が走査範囲に関する指示情報に基づいて生成される。
走査範囲設定部86は、走査範囲に関する指示情報に基づいて、走査用ドローン60の走査範囲を設定する。本実施形態では、走査範囲136の体積(面積)や形状等を設定することができる。例えば、ユーザ31は、走査範囲136を六角形、丸、四角等の様々な形状にすることが可能である。本実施形態では、走査範囲136を領域として決定する以外にも走査範囲136を線状に決定することも出来る。
走査範囲設定部86により設定された走査範囲の画像データは、画像データ送信部89により、ユーザ端末30に送信される。これにより、走査計画生成用GUI130内の走査範囲表示部132に、走査範囲136が表示される。
なお、走査範囲136の決定方法は限定されない。例えば、エリア選択表示部137内に表示される予め決まっている形状を選択してもよいし、ユーザ31が自由に走査範囲136を決定してもよい。また例えば、特定のランドマークが選択された際にそのランドマークを中心に所定の半径を持つ走査範囲136が決定されてもよい。
走査範囲設定部86により設定された走査範囲の画像データは、画像データ送信部89により、ユーザ端末30に送信される。これにより、走査計画生成用GUI130内の走査範囲表示部132に、走査範囲136が表示される。
なお、走査範囲136の決定方法は限定されない。例えば、エリア選択表示部137内に表示される予め決まっている形状を選択してもよいし、ユーザ31が自由に走査範囲136を決定してもよい。また例えば、特定のランドマークが選択された際にそのランドマークを中心に所定の半径を持つ走査範囲136が決定されてもよい。
なお、本実施形態において、指示情報取得部85及び走査範囲設定部86は、走査用の移動体の所定の領域内の走査及び撮影に関する走査用の計画情報を生成する走査用生成部に相当する。
図6に示す指示情報取得部85により、走査範囲に関する指示情報が取得され、走査時間予測部87に出力される。
走査時間予測部87は、走査範囲に関する指示情報に基づいて、走査に実際にかかる時間を予測する。典型的には、走査範囲136の広さや走査用ドローン60の移動する速度等に基づいて、所要時間が決定される。もちろん、所要時間が予め決定されて、所要時間に基づいて走査の設定が決定されてもよい。
走査時間予測部87により予測された走査に実際にかかる時間の画像データは、画像データ送信部89により、ユーザ端末30に送信される。これにより、走査計画生成用GUI130内の走査時間表示部133に、走査に実際にかかる時間が表示される。
走査時間予測部87は、走査範囲に関する指示情報に基づいて、走査に実際にかかる時間を予測する。典型的には、走査範囲136の広さや走査用ドローン60の移動する速度等に基づいて、所要時間が決定される。もちろん、所要時間が予め決定されて、所要時間に基づいて走査の設定が決定されてもよい。
走査時間予測部87により予測された走査に実際にかかる時間の画像データは、画像データ送信部89により、ユーザ端末30に送信される。これにより、走査計画生成用GUI130内の走査時間表示部133に、走査に実際にかかる時間が表示される。
走査設定表示部134は、走査の設定をするためのGUIである。本実施形態では、ユーザ31の指示により、走査用ドローン60の有するカメラ63の撮影密度や走査用ドローン60の走査する時間や経路等が設定可能である。
例えば、撮影密度は、走査範囲136の体積(面積)に対して、どれくらいの時間をかけて走査を行うかを示す。すなわち、(走査範囲136の体積)/(走査する時間)=撮影密度となる。また例えば、撮影密度は、走査用ドローン60が進んだ距離に応じて、撮影を行うかを示す。例えば、走査用ドローン60が3m進むごとに1回撮影をする等の設定がされてもよい。
例えば、撮影密度は、走査範囲136の体積(面積)に対して、どれくらいの時間をかけて走査を行うかを示す。すなわち、(走査範囲136の体積)/(走査する時間)=撮影密度となる。また例えば、撮影密度は、走査用ドローン60が進んだ距離に応じて、撮影を行うかを示す。例えば、走査用ドローン60が3m進むごとに1回撮影をする等の設定がされてもよい。
画像データ保持部88は、通信制御部90を介して、画像データ記録部67から送信される画像データを保持する。保持された画像データは、図示しない画像データ取得部により取得され、図示しない予測画像生成部により予測画像として生成される。
本実施形態では、カメラ63により取得された全天球画像が保持される。そのため、予測画像生成部は、カメラ63の撮影方向、及び走査用ドローン60の機体姿勢に基づいて、画像データからカメラ63の画角に当たる部分を切り取る。切り取られた画像データに対してレンズ湾曲(歪み)補正が行われることで予測画像が生成される。
本実施形態では、カメラ63により取得された全天球画像が保持される。そのため、予測画像生成部は、カメラ63の撮影方向、及び走査用ドローン60の機体姿勢に基づいて、画像データからカメラ63の画角に当たる部分を切り取る。切り取られた画像データに対してレンズ湾曲(歪み)補正が行われることで予測画像が生成される。
図6に示す走査計画生成部91により、走査実行部135の選択に応じて、走査計画情報が生成される。生成された走査計画情報は、走査計画保持部92により保持され、データベース5に格納される。なお、保持される走査計画情報の数や保存期間等は限定されない。
図8は、走査用ドローン60の走査の具体的な一例を示す模式図である。図8Aは、走査用ドローン60の走査する移動経路の一例を示す模式図である。図8Bは、走査用ドローン60の移動経路を算出する方法の一例を示す模式図である。
図8Aに示すように、ユーザ31の指示により走査範囲140が決定される。この時、ユーザ31の決定した撮影密度等の設定に基づいて、走査用ドローン60の走査を行うための移動経路141が決定される。
図8Aに示すように、行動計画部68は、走査範囲140内に障害物が無い場合、走査範囲140内の画像データを十分に取得できるように移動経路141を計画する。例えば、移動経路141は、高度が一定である走査範囲140の面を波状に設定される。また走査範囲140の面を走査し終わった場合に高度を一定距離変えて、波状に更に走査するように設定される。
例えば、走査範囲140の高さが50mと設定された場合、高さ10mごとに移動経路141が設定されてもよい。すなわち、走査用ドローン60は、走査範囲140を異なる高さで5回走査を行う。
なお、移動経路141の設定方法は限定されない。例えば、走査用ドローン60の有するカメラ63の撮影範囲等の性能に基づいて、移動経路の間隔が設定されてもよい。また例えば、ユーザ31が走査範囲内の所定の位置を決定し、その位置同士を結ぶように移動経路141が設定されてもよい。
例えば、走査範囲140の高さが50mと設定された場合、高さ10mごとに移動経路141が設定されてもよい。すなわち、走査用ドローン60は、走査範囲140を異なる高さで5回走査を行う。
なお、移動経路141の設定方法は限定されない。例えば、走査用ドローン60の有するカメラ63の撮影範囲等の性能に基づいて、移動経路の間隔が設定されてもよい。また例えば、ユーザ31が走査範囲内の所定の位置を決定し、その位置同士を結ぶように移動経路141が設定されてもよい。
図8Bに示すように、コストマップ生成部69は、走査用ドローン60の移動した移動経路142に対してコストマップ143を生成する。本実施形態では、コストマップ生成部69により走査用ドローン60が一度通過した経路周辺のコストが高く設定される。例えば、移動経路142を中心に円状に半径が短い程コストが高く設定される。すなわち、コストマップ生成部69は、走査用ドローン60が通過した経路を中心に3次元の筒状のコストマップ143を生成する。なお本実施形態において、コストマップ143は走査経路に関するコスト情報に相当する。
またコストマップ生成部69は、障害物検知部65により移動経路142上に障害物144が存在していた場合、障害物144周辺のコストを高く設定する。すなわち、走査用ドローン60が障害物144を避けるように移動経路145が生成される。
またコストマップ生成部69は、障害物検知部65により移動経路142上に障害物144が存在していた場合、障害物144周辺のコストを高く設定する。すなわち、走査用ドローン60が障害物144を避けるように移動経路145が生成される。
行動計画部68は、コストマップ生成部69により生成されたコストマップに基づいて、走査用ドローン60の次の移動経路147をコストが低くなるように生成する。すなわち、本実施形態では、高さ(Z軸)が異なる移動経路146に対して移動経路147が高さ方向(Z軸方向)から見て重ならない様に生成される。
なお、コストマップの生成方法は限定されない。例えば、A star探索アルゴリズム、ダイクストラ法等の経路探索アルゴリズム等によりコストマップが生成されてもよい。また任意の機械学習アルゴリズムが用いられてもよい。また一度生成されたコストマップが随時更新されてもよい。
これにより、一度通った経路のコストを増大させることで3次元空間の走査範囲を均一に走査することが可能となる。なお、本実施形態において、移動経路145は、過去に通過した走査経路に相当する。
これにより、一度通った経路のコストを増大させることで3次元空間の走査範囲を均一に走査することが可能となる。なお、本実施形態において、移動経路145は、過去に通過した走査経路に相当する。
以上、本実施形態に係るサーバ装置10では、地図上の撮影を所望する領域に関する画像データが取得される。画像データに基づいて、撮影を所望する領域内にて撮影が行われた場合に取得されると予測される予測画像124が生成される。撮影機能を有するドローン50の撮影を所望する領域内における移動及び撮影に関するシナリオ計画情報の生成に関する指示に基づいて、予測画像124が提示される。これにより、撮影機能を有する移動体の移動及び撮影に関して、高品質な計画情報を生成する事ができる。
ドローンを用いて撮影する場合、事前に移動経路を指定しても、撮影される映像がどのような画角、流れになるかが事前にイメージするのが難しい。そのため、撮影をドローンで行う場合には、人によるマニュアル走査に強く依存する。
例えば、ドローンの有するカメラを操作する役とドローンを操作する役との2人体制で撮影が行われる。また1人でカメラとドローンとを操作する場合は、操作が難しく映像を上手く撮れない。
例えば、ドローンの有するカメラを操作する役とドローンを操作する役との2人体制で撮影が行われる。また1人でカメラとドローンとを操作する場合は、操作が難しく映像を上手く撮れない。
一方で、ユーザが事前に指定した経路を自動で飛行するドローンの自律飛行技術は容易になってきている。
そこで、本技術では、移動経路を生成する段階で、移動経路と各移動経路におけるカメラの方向とから撮影されると予測される画像データを確認しながら、移動経路とカメラの方向を指定することで、自律飛行によって撮影することが実現される。
そこで、本技術では、移動経路を生成する段階で、移動経路と各移動経路におけるカメラの方向とから撮影されると予測される画像データを確認しながら、移動経路とカメラの方向を指定することで、自律飛行によって撮影することが実現される。
これにより、ドローンの高度な操作技術がなくとも、撮影したい映像を簡単に撮影することが可能となる。また撮影する際の試行錯誤の回数を減らすことができ、低コスト化が可能となる。
<第2の実施形態>
本技術に係る第2の実施形態のドローン撮影システム200について説明する。これ以降の説明では、上記の実施形態で説明したドローン撮影システム100における構成及び作用と同様な部分については、その説明を省略又は簡略化する。
本技術に係る第2の実施形態のドローン撮影システム200について説明する。これ以降の説明では、上記の実施形態で説明したドローン撮影システム100における構成及び作用と同様な部分については、その説明を省略又は簡略化する。
第1の実施形態では、シナリオ計画情報の生成をする際にユーザの選択した経由地点121の予測画像が表示された。第2の実施形態では、ユーザが地図表示部に表示されるランドマークを選択することによって、予測画像を表示させることが可能となる。
図9は、本技術に係る第2の実施形態のサーバ装置150の機能的な構成例を示すブロック図である。サーバ装置150のGUI生成部151は、サーバ装置10のGUI生成部12に対して候補点生成部153、及び候補画像生成部154が追加される。
またサーバ装置150では、データベース5の一例として、地図データDB24と画像データDB25に加え撮影ルールDB155が追加される。なお、シナリオ計画情報生成部は、第1の実施形態のシナリオ計画情報生成部13と同様であるため図示が省略されている。
またサーバ装置150では、データベース5の一例として、地図データDB24と画像データDB25に加え撮影ルールDB155が追加される。なお、シナリオ計画情報生成部は、第1の実施形態のシナリオ計画情報生成部13と同様であるため図示が省略されている。
図10は、候補画像を用いる場合の計画生成用GUI160の一例を示す模式図である。図10に示すように計画生成用GUI160は、計画生成用GUI110の地図表示部111、タイムライン表示部113、動画プレビューボタン116、シナリオ実行ボタン117、開くボタン126、及び保存ボタン127を有する。これに加え、計画生成用GUI160は、ランドマーク情報表示部162と、候補画像生成部163と、候補画像表示部164と、候補画像追加部165とを有する。
図11は、候補画像を用いたシナリオ計画情報の生成の具体的な処理例を示すフローチャートである。ステップ301、ステップ306、及びステップ307の処理は、第1の実施形態と同じステップのため説明は省略する。
図10に示すように、ユーザにより地図表示部111に表示される地図上に特定のランドマークが選択される(ステップ302)。選択されたランドマークの情報がランドマーク情報表示部162に表示される。なお、第2の実施形態では、地図表示部111上に選択されたランドマークを示す模式図170が表示されている。例えば、ユーザがランドマークとして東京タワーを選択した場合に、模式図170は、選択された経由地点171(星印)の付近に東京タワーを模した図で表示される。
図9に示す指示情報取得部152により、経由地点171の選択に関する指示情報が取得され、候補点生成部153に出力される。
候補点生成部153は、撮影ルールDB155に保持される撮影ルールに基づいて、ユーザに選択されたランドマークの候補点を生成する。
候補点は、ユーザに選択されたランドマークごとに設定された位置情報を示す。例えば、東京タワーから東西南北に30m離れた位置等の位置情報が各ランドマークに設定される。
なお、本実施形態において、候補点は、選択対象となったランドマークの分類ごとに設定されたドローン50の相対的な撮影位置、又は取得される画像内のランドマークの表示状態の少なくとも一方の点を示す。
候補点生成部153は、撮影ルールDB155に保持される撮影ルールに基づいて、ユーザに選択されたランドマークの候補点を生成する。
候補点は、ユーザに選択されたランドマークごとに設定された位置情報を示す。例えば、東京タワーから東西南北に30m離れた位置等の位置情報が各ランドマークに設定される。
なお、本実施形態において、候補点は、選択対象となったランドマークの分類ごとに設定されたドローン50の相対的な撮影位置、又は取得される画像内のランドマークの表示状態の少なくとも一方の点を示す。
ランドマーク情報表示部162には、撮影ルールDB155に保持されたランドマークに関する情報が表示される。例えば、ユーザに選択されたランドマークの名前、緯度経度、建物等の種別が表示される。これに限定されず、山や建物であれば高さ等が表示されてもよい。
候補画像自動生成ボタン163は、ユーザにより選択対象となったランドマークの候補画像を生成するためのボタンである。本実施形態では、選択されたランドマークに設定された撮影ルールに基づいて、ランドマークの候補画像176及び177等が生成される(ステップ303)。
なお、本実施形態において、候補画像は、選択対象となった対象物の位置情報に基づいて生成される予測候補画像に相当する。
なお、本実施形態において、候補画像は、選択対象となった対象物の位置情報に基づいて生成される予測候補画像に相当する。
候補画像生成部154は、生成された候補点からドローン50により撮影された場合の候補画像を生成する。
候補画像生成部154は、候補画像の画像データを生成する。候補画像生成部154により生成された候補画像の画像データは、画像データ送信部20により、ユーザ端末30に送信される。これにより、計画生成用GUI160内の候補画像表示部164に、候補画像176及び177が表示される(ステップ304)。
本実施形態では、ユーザは、撮影ルールに基づいて、生成された候補画像176及び177を選択することができる。また候補画像表示部164を下方にスクロールすることで、他の候補画像を選択することも可能である。
候補画像生成部154は、候補画像の画像データを生成する。候補画像生成部154により生成された候補画像の画像データは、画像データ送信部20により、ユーザ端末30に送信される。これにより、計画生成用GUI160内の候補画像表示部164に、候補画像176及び177が表示される(ステップ304)。
本実施形態では、ユーザは、撮影ルールに基づいて、生成された候補画像176及び177を選択することができる。また候補画像表示部164を下方にスクロールすることで、他の候補画像を選択することも可能である。
撮影ルールDB155は、様々なランドマークの撮影に関する撮影ルールが保持される。撮影ルールの一例は図12を参照して説明する。
候補画像追加ボタン165は、ユーザにより選択されたランドマークの候補画像を移動経路に追加するためのボタンである。すなわち、ユーザが選択した候補画像に紐づけられた経由地点171の位置と撮影ルールとがシナリオ計画情報に追加される(ステップ305)。
例えば図10に示すように、ユーザにより候補画像追加部165が選択されることで、経由地点171と経由地点172及び173を結ぶ破線174が地図表示部111に表示される。すなわち、経由地点171を通過するような移動経路(破線174と実線175)がドローン50のシナリオ計画情報として生成される。
すなわち、候補画像表示部164に表示される複数の候補画像は、予測画像とも言える。また候補画像に紐づけられた経由地点の位置及び撮影ルールは、予測画像の生成後に特定された、地図上の所定の領域内における移動及び撮影に関する計画情報とも言える。動画プレビューボタン116が選択されることにより生成される候補動画も同様である。
例えば図10に示すように、ユーザにより候補画像追加部165が選択されることで、経由地点171と経由地点172及び173を結ぶ破線174が地図表示部111に表示される。すなわち、経由地点171を通過するような移動経路(破線174と実線175)がドローン50のシナリオ計画情報として生成される。
すなわち、候補画像表示部164に表示される複数の候補画像は、予測画像とも言える。また候補画像に紐づけられた経由地点の位置及び撮影ルールは、予測画像の生成後に特定された、地図上の所定の領域内における移動及び撮影に関する計画情報とも言える。動画プレビューボタン116が選択されることにより生成される候補動画も同様である。
図12は、撮影ルールの一例を示す図である。本実施形態では、撮影ルールとしてランドマーク種別、対象からの距離、撮影方位、撮影高度、及び画角位置が設定される。
ランドマーク種別は、ランドマークの分類を示す。例えば、高層建築物、山、橋、及び家等が設定される。もちろんこれ以外のランドマークの分類が設定されてもよい。なお、本実施形態において、ランドマーク種別は、対象物を分類する分類情報に相当する。
対象からの距離は、選択されたランドマークとドローン50との距離を示す。例えば、「距離0」と設定されている場合、対象物である建物の真上又は真下から撮影することが可能な距離(位置)が候補点となる。また「40%」と設定されている場合、対象物がドローン50の有するカメラの画角の全体の高さの40%を占めるように撮影することが可能な距離が候補点となる。
また例えば、対象からの距離が「140%」と設定されている場合、ランドマークがカメラの画角の全体の高さである100%を占める状態から、1.4倍に拡大されて表示される。すなわち、ドローン50は、対象からの距離が「100%」の場合よりもランドマークに近い位置で撮影をする。
すなわち、対象からの距離は、カメラの画角の全体の高さに対してランドマークがどれぐらいを占めるような画像が撮影される距離として規定される。
また例えば、対象からの距離が「140%」と設定されている場合、ランドマークがカメラの画角の全体の高さである100%を占める状態から、1.4倍に拡大されて表示される。すなわち、ドローン50は、対象からの距離が「100%」の場合よりもランドマークに近い位置で撮影をする。
すなわち、対象からの距離は、カメラの画角の全体の高さに対してランドマークがどれぐらいを占めるような画像が撮影される距離として規定される。
撮影方位は、ドローン50が対象のランドマークを撮影する方向を示す。本実施形態では、ランドマークに対して、東、西、南、北、及び真上が設定される。撮影高度は、対象物の高さに対する位置を示す。例えば、「50%」と設定されている場合、建物の高さの50%の位置が候補点となる。なお、本実施形態において、対象からの距離及び撮影高度は、対象物に対する相対的な撮影位置に相当する。
画角位置は、ドローン50が撮影した画像内に対象物が映る位置を示す。例えば、建物を中央に映すことが可能な位置又はカメラの向きが候補点となる。
これらの様々な撮影ルールの組み合わせにより複数の候補点が生成される。例えば、ランドマーク種別が「建物」、対象からの距離が「距離0(真上)」、撮影方位が「真上」、撮影高度が「120%」、画各位置が「中央」と設定された撮影ルールにより、建物を画像の中心に真上から撮影した場合の候補点が生成される。すなわち、撮影ルールは、候補点の撮影条件とも言える。なお、本実施形態において、撮影方位及び画角位置は、予測画像内の前記対象物の表示状態に相当する。
なお、撮影ルールの条件は限定されない。例えば、ユーザにより任意の撮影ルールが設定されてもよい。なお、本実施形態において、対象からの距離、撮影方位、撮影高度、及び画角位置は、対象物と移動体との相対位置に相当する。なお、本実施形態において、撮影ルールは、対象物を選択する指示に関する予測画像の生成ルールに相当する。
なお、撮影ルールの条件は限定されない。例えば、ユーザにより任意の撮影ルールが設定されてもよい。なお、本実施形態において、対象からの距離、撮影方位、撮影高度、及び画角位置は、対象物と移動体との相対位置に相当する。なお、本実施形態において、撮影ルールは、対象物を選択する指示に関する予測画像の生成ルールに相当する。
これにより、シナリオ計画情報を生成する際に、ドローン50の緯度経度、高度、及びカメラの方向等のシナリオ計画情報が候補点を選択することで設定できることにより、容易にシナリオ計画情報を生成することが可能となる。
<第3の実施形態>
本技術に係る第3の実施形態のドローン撮影システム300について説明する。
第2の実施形態では、選択されたランドマークに対して複数ある候補点の撮影ルールごとの候補画像が候補画像表示部164に表示された。第3の実施形態では、複数ある候補点の内から1つだけランダムに選ばれ、選ばれた候補点の候補画像が生成される。生成された候補画像にランドマークが存在するかが画像認識される事で候補画像が選出される。
本技術に係る第3の実施形態のドローン撮影システム300について説明する。
第2の実施形態では、選択されたランドマークに対して複数ある候補点の撮影ルールごとの候補画像が候補画像表示部164に表示された。第3の実施形態では、複数ある候補点の内から1つだけランダムに選ばれ、選ばれた候補点の候補画像が生成される。生成された候補画像にランドマークが存在するかが画像認識される事で候補画像が選出される。
図13は、本技術に係る第3の実施形態のサーバ装置180の機能的な構成例を示すブロック図である。サーバ装置180は、GUI生成部181とシナリオ計画情報生成部182を有する。GUI生成部181は、第2の実施形態のサーバ装置150に対して認識器取得部183、候補画像判定部184、及び候補画像保持部185が追加される。なお、シナリオ計画情報生成部182は、第1の実施形態と同様なため図示は省略されている。
第2の実施形態と同様に、指示情報取得部152により、経由地点171の選択に関する指示情報が取得され、候補点生成部153に出力される。
候補点生成部153は、ユーザからの指示及び撮影ルールDB155に保持される撮影ルールに基づいて、候補点を生成する。第3の実施形態では、候補点が1つだけ選ばれ、選ばれた候補点の候補画像が生成される。
候補点生成部153は、ユーザからの指示及び撮影ルールDB155に保持される撮影ルールに基づいて、候補点を生成する。第3の実施形態では、候補点が1つだけ選ばれ、選ばれた候補点の候補画像が生成される。
認識器取得部183は、候補画像生成部154により生成された予測画像に対して画像認識を行うための認識器を取得する。例えば、候補画像が風景や建物の判定、又は建物の劣化状況の検査等の様々な用途に応じた認識器が取得される。また指示情報取得部152により、認識器の取得に関する指示情報が取得され、認識器取得部183に出力されてもよい。
候補画像判定部184は、生成された候補画像内に選択されたランドマークが存在するかを判定する。本実施形態では、候補画像判定部184により候補画像内のランドマークの信頼度が所定の閾値を超えたかが判定される。すなわち、認識器を用いて候補画像が目的に沿った画像になっているかが評価(スコアリング)される。
なお、画像認識を実行するための具体的なアルゴリズム等は限定されず、例えば機械学習が用いられてもよい。例えば、ランドマークを示すテンプレート画像と候補画像に映るランドマークとがテンプレートマッチングにより判定されてもよい。また例えば、プロの写真家が撮影した精度の高いランドマークを撮影した画像の特徴点等でマッチングすることで候補画像の精度が向上されてもよい。
なお、画像認識を実行するための具体的なアルゴリズム等は限定されず、例えば機械学習が用いられてもよい。例えば、ランドマークを示すテンプレート画像と候補画像に映るランドマークとがテンプレートマッチングにより判定されてもよい。また例えば、プロの写真家が撮影した精度の高いランドマークを撮影した画像の特徴点等でマッチングすることで候補画像の精度が向上されてもよい。
候補画像保持部185は、候補画像判定部184により信頼度が所定の閾値を超えたと判定された候補画像を保持する。本実施形態では、候補画像保持部185により信頼度が所定の閾値を超えた候補画像が所定の数に到達するまで保持が続けられる。所定の数に到達した場合、供給された候補画像が候補画像表示部164に表示される。
すなわち、予測画像は、選択対象となった対象物の位置情報に基づいて予測候補画像が生成され、予測画像内の対象物の表示状態に関して予測候補画像が評価されることで生成される。
すなわち、予測画像は、選択対象となった対象物の位置情報に基づいて予測候補画像が生成され、予測画像内の対象物の表示状態に関して予測候補画像が評価されることで生成される。
図14は、候補画像を生成するための判定例を示すフローチャートである。ステップ401、ステップ402、ステップ406、ステップ407、ステップ408、及びステップ409の処理は、第1の実施形態と同じステップのため説明は省略する。
図10を参照して、ユーザにより地図表示部111に表示されたランドマークが選択される。候補点生成部153によりランドマークに紐づけられた撮影ルールに基づく複数の候補点からランダムに1つ選択され、その候補点の候補画像が生成される(ステップ403)。
例えば、ユーザの選択したランドマークの種別が山の場合、西から山の高さの10%から撮影され、山が画角の中央に画角の高さ60%を占めるように表示される候補画像が生成される。
例えば、ユーザの選択したランドマークの種別が山の場合、西から山の高さの10%から撮影され、山が画角の中央に画角の高さ60%を占めるように表示される候補画像が生成される。
候補画像判定部184により生成された候補画像に選択されたランドマークが存在するかが判定される(ステップ404)。例えば、ユーザによりランドマークとして東京タワーが選択された場合、生成された候補画像に対して候補画像判定部184が画像認識を行うことで候補画像内に東京タワーが存在するかが判定される。
候補画像に選択されたランドマークが存在すると判定された場合(ステップ404のYes)、候補画像保持部185によりその候補画像が保持される。候補画像が規定の枚数に達した場合(ステップ405のYes)、候補画像保持部185により保持された候補画像が候補画像表示部164に表示される(ステップ406)。
候補画像内に選択されたランドマークが存在しないと判定された場合(ステップ404のNo)、又は候補画像が規定の枚数に達していない場合(ステップ405のNo)、候補点生成部153により選択されたランドマークの候補点が生成され、候補画像生成部154により生成された候補点の候補画像が新たに生成される。
これにより、画像認識器による評価結果を用いることで表示される予測画像を高精度にすることができる。
<その他の実施形態>
本技術は、以上説明した実施形態に限定されず、他の種々の実施形態を実現することができる。
本技術は、以上説明した実施形態に限定されず、他の種々の実施形態を実現することができる。
図15は、サーバ装置10のハードウェア構成例を示すブロック図である。もちろん、サーバ装置10のハードウェアの構成例はサーバ装置80、150、及び180に対しても同様に実施可能である。
サーバ装置10は、CPU201、ROM(Read Only Memory)202、RAM203、入出力インタフェース205、及びこれらを互いに接続するバス204を備える。入出力インタフェース205には、表示部206、入力部207、記憶部208、通信部209、及びドライブ部210等が接続される。
表示部206は、例えば液晶、EL(Electro-Luminescence)等を用いた表示デバイスである。入力部207は、例えばキーボード、ポインティングデバイス、タッチパネル、その他の操作装置である。入力部207がタッチパネルを含む場合、そのタッチパネルは表示部206と一体となり得る。
記憶部208は、不揮発性の記憶デバイスであり、例えばHDD、フラッシュメモリ、その他の固体メモリである。ドライブ部210は、例えば光学記録媒体、磁気記録テープ等、リムーバブルの記録媒体211を駆動することが可能なデバイスである。
通信部209は、LAN、WAN等に接続可能な、他のデバイスと通信するためのモデム、ルータ、その他の通信機器である。通信部209は、有線及び無線のどちらを利用して通信するものであってもよい。通信部209は、サーバ装置10とは別体で使用される場合が多い。
本実施形態では、通信部209により、ネットワークを介した他の装置との通信が可能となる。
本実施形態では、通信部209により、ネットワークを介した他の装置との通信が可能となる。
上記のようなハードウェア構成を有するサーバ装置10による情報処理は、記憶部208またはROM202等に記憶されたソフトウェアと、サーバ装置10のハードウェア資源との協働により実現される。具体的には、ROM202等に記憶された、ソフトウェアを構成するプログラムをRAM203にロードして実行することにより、本技術に係る情報処理方法が実現される。
プログラムは、例えば記録媒体211を介してサーバ装置10にインストールされる。あるいは、グローバルネットワーク等を介してプログラムがサーバ装置10にインストールされてもよい。その他、コンピュータ読み取り可能な非一過性の任意の記憶媒体が用いられてよい。
上記の第3の実施形態では、走査用ドローン60の走査計画情報が生成されることで、走査用ドローン60が自律飛行し、画像データが取得された。これに限定されず、ユーザが走査用ドローン60を操作することで、画像データが取得されてもよい。
上記の第1の実施形態及び第2の実施形態では、タイムライン表示部113に撮影条件がタイムラインで表示された。これに限定されず、タイムライン表示部113に表示されている高度、基体姿勢、及びカメラの向き等の撮影条件がユーザに選択されることで制御されてもよい。例えば、ユーザにより経由地点のドローン50の高度を示すタイムラインが選択され、ドラックされることで高度が制御されてもよい。
上記の第1の実施形態及び第2の実施形態では、ランドマークに紐づけられた撮影ルールの「対象からの距離」は、カメラの画角の全体の高さに対してランドマークがどれぐらいを占めるような画像が撮影される距離として規定された。これに限定されず、カメラの画角の高さ方向と直交する水平方向の長さに対してランドマークがどれぐらいを占めるような画像が撮影される距離として規定されてもよい。また、候補画像が見上げるような写真等の下端及び上端が撮影されない場合も対象からの距離に含まれる。
上記の第1の実施形態、第2の実施形態、及び第3の実施形態では、サーバ装置は、ネットワーク35を介してユーザ端末30にドローン撮影システムを提供した。これに限定されず、サーバ装置として機能する構成がユーザ端末30やドローン50に含まれてもよい。
上記の第1の実施形態、第2の実施形態、及び第3の実施形態では、ドローン50及び走査用ドローン60がシナリオ計画情報及び走査計画情報を1度の自律飛行で行った。これに限定されず、例えば、バッテリー等がシナリオ計画情報及び走査計画情報を終了させるまで持たないと判断された場合、どこの地点まで撮影したかを保持がされてもよい。またRTH(Return To Home)等でバッテリー交換、又は充電された後に撮影途中の箇所から自律飛行が継続されてもよい。またドローン50及び走査用ドローン60は、空中の飛行だけではなく、地面や水上を移動可能な移動機構を有してもよい。
また上記の第1の実施形態、第2の実施形態、及び第3の実施形態では、計画生成用GUIがアプリケーションとして提示された。これに限定されず、例えば、本ドローン開発システムに関連するWebサイトが構築され、ユーザ端末30を介してWebサイト内の所定のWebページにアクセスして計画生成用GUIが提示されてもよい。
通信端末に搭載されたコンピュータとネットワーク等を介して通信可能な他のコンピュータとが連動することにより本技術に係る情報処理装置、情報処理方法、プログラム、及び情報処理システムが実行され、本技術に係る情報処理装置が構築されてもよい。
すなわち本技術に係る情報処理装置、情報処理方法、プログラム、及び情報処理システムは、単体のコンピュータにより構成されたコンピュータシステムのみならず、複数のコンピュータが連動して動作するコンピュータシステムにおいても実行可能である。なお、本開示において、システムとは、複数の構成要素(装置、モジュール(部品)等)の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、1つの筐体の中に複数のモジュールが収納されている1つの装置は、いずれもシステムである。
コンピュータシステムによる本技術に係る情報処理装置、情報処理方法、プログラム、及び情報処理システムの実行は、例えば、シナリオ計画情報の生成、画像データの取得、及び予測画像の生成等が、単体のコンピュータにより実行される場合、及び各処理が異なるコンピュータにより実行される場合の両方を含む。また所定のコンピュータによる各処理の実行は、当該処理の一部又は全部を他のコンピュータに実行させその結果を取得することを含む。
すなわち本技術に係る情報処理装置、情報処理方法、プログラム、及び情報処理システムは、1つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成にも適用することが可能である。
各図面を参照して説明したGUI生成部、画像データ取得部、予測画像生成部、計画生成部等の各構成、通信システムの制御フロー等はあくまで一実施形態であり、本技術の趣旨を逸脱しない範囲で、任意に変形可能である。すなわち本技術を実施するための他の任意の構成やアルゴリズム等が採用されてよい。
なお、本開示中に記載された効果はあくまで例示であって限定されるものでは無く、また他の効果があってもよい。上記の複数の効果の記載は、それらの効果が必ずしも同時に発揮されるということを意味しているのではない。条件等により、少なくとも上記した効果のいずれかが得られることを意味しており、もちろん本開示中に記載されていない効果が発揮される可能性もある。
以上説明した各形態の特徴部分のうち、少なくとも2つの特徴部分を組み合わせることも可能である。すなわち各実施形態で説明した種々の特徴部分は、各実施形態の区別なく、任意に組み合わされてもよい。
なお、本技術は以下のような構成も採ることができる。
(1)地図上の所定の領域に関する画像データを取得する取得部と、
前記画像データに基づいて、前記所定の領域内で撮影が行われた場合に取得されると予測される予測画像を生成する画像生成部と、
撮影機能を有する移動体の前記所定の領域内における移動及び撮影に関する計画情報の生成に関する指示に基づいて、前記予測画像を提示する提示部と
を具備する情報処理装置。
(2)(1)に記載の情報処理装置であって、
前記提示部は、前記計画情報の生成に関する指示を入力するための、前記予測画像を含むGUI(Graphical User Interface)を出力する
情報処理装置。
(3)(1)又は(2)に記載の情報処理装置であって、
前記画像生成部は、前記所定の領域内の位置、又は撮影条件の少なくとも一方に関する指示に基づいて、前記予測画像を生成する。
情報処理装置。
(4)(3)に記載の情報処理装置であって、
前記撮影条件は、撮影方向、撮影時間、又は前記所定の領域に関する環境情報の少なくとも1つを含む
情報処理装置。
(5)(1)から(4)のうちいずれか1つに記載の情報処理装置であって、
前記画像生成部は、前記所定の領域内に存在する対象物を選択する指示に基づいて、前記対象物が撮影されている前記予測画像を生成する
情報処理装置。
(6)(5)に記載の情報処理装置であって、
前記画像生成部は、前記対象物を選択する指示に関する前記予測画像の生成ルールに基づいて、前記予測画像を生成する
情報処理装置。
(7)(6)に記載の情報処理装置であって、
前記生成ルールは、前記対象物を分類する分類情報と、前記分類情報に関連付けられた情報として、前記対象物に対する相対的な撮影位置、又は前記予測画像内の前記対象物の表示状態の少なくとも一方の情報とを含む
情報処理装置。
(8)(5)から(7)のうちいずれか1項に記載の情報処理装置であって、
前記画像生成部は、選択対象となった前記対象物の位置情報に基づいて予測候補画像を生成し、前記予測画像内の前記対象物の表示状態に関して前記予測候補画像を評価することで、前記予測画像を生成する
情報処理装置。
(9)(1)から(8)のうちいずれか1つに記載の情報処理装置であって、さらに、
入力された前記計画情報の生成に関する指示に基づいて、前記計画情報を生成する計画生成部を具備する
情報処理装置。
(10)(9)に記載の情報処理装置であって、
前記計画生成部は、提示された前記予測画像を選択する指示に基づいて、前記計画情報を生成する
情報処理装置。
(11)(1)から(10)のうちいずれか1つに記載の情報処理装置であって、
前記計画情報は、経由地点、移動時間、又は撮影条件のうち少なくとも1つを含む
情報処理装置。
(12)(1)から(11)のうちいずれか1つに記載の情報処理装置であって、
前記画像データは、撮影機能を有する走査用の移動体が、前記所定の領域内を走査しながら撮影することで取得された画像データである
情報処理装置。
(13)(1)から(12)のうちいずれか1つに記載の情報処理装置であって、
前記画像データは、全天球画像データを含む
情報処理装置。
(14)(1)から(13)のうちいずれか1つに記載の情報処理装置であって、さらに、
前記計画情報に基づいて、前記撮影機能を有する移動体の移動及び撮影に関する動作を制御する制御部を具備する
情報処理装置
(15)(12)に記載の情報処理装置であって、さらに、
前記走査用の移動体の前記所定の領域内の走査及び撮影に関する走査用の計画情報を生成する走査用生成部を具備する
情報処理装置。
(16)(15)に記載の情報処理装置であって、
前記走査用の計画情報は、走査経路に関するコスト情報を含み、
前記コスト情報は、過去に通過した走査経路に基づいて生成される
情報処理装置。
(17)地図上の所定の領域に関する画像データを取得し、
前記画像データに基づいて、前記所定の領域内で撮影が行われた場合に取得されると予測される予測画像を生成し、
撮影機能を有する移動体の前記所定の領域内における移動及び撮影に関する計画情報の生成に関する指示に基づいて、前記予測画像を提示する
ことをコンピュータシステムが実行する情報処理方法。
(18)地図上の所定の領域に関する画像データを取得するステップと、
前記画像データに基づいて、前記所定の領域内で撮影が行われた場合に取得されると予測される予測画像を生成するステップと、
撮影機能を有する移動体の前記所定の領域内における移動及び撮影に関する計画情報の生成に関する指示に基づいて、前記予測画像を提示するステップと
をコンピュータシステムに実行させるプログラム。
(19) 地図上の所定の領域に関する画像データを取得する取得部と、
前記画像データに基づいて、前記所定の領域内で撮影が行われた場合に取得されると予測される予測画像を生成する画像生成部と、
撮影機能を有する移動体の前記所定の領域内における移動及び撮影に関する計画情報の生成に関する指示に基づいて、前記予測画像を提示する提示部と、
入力された前記計画情報の生成に関する指示に基づいて、前記計画情報を生成する計画生成部と
を有する情報処理装置と、
撮影部を有し、前記情報処理装置により生成された前記計画情報に基づいて、前記所定の領域内を移動しながら撮影を実行する移動体と
を具備する情報処理システム。
(1)地図上の所定の領域に関する画像データを取得する取得部と、
前記画像データに基づいて、前記所定の領域内で撮影が行われた場合に取得されると予測される予測画像を生成する画像生成部と、
撮影機能を有する移動体の前記所定の領域内における移動及び撮影に関する計画情報の生成に関する指示に基づいて、前記予測画像を提示する提示部と
を具備する情報処理装置。
(2)(1)に記載の情報処理装置であって、
前記提示部は、前記計画情報の生成に関する指示を入力するための、前記予測画像を含むGUI(Graphical User Interface)を出力する
情報処理装置。
(3)(1)又は(2)に記載の情報処理装置であって、
前記画像生成部は、前記所定の領域内の位置、又は撮影条件の少なくとも一方に関する指示に基づいて、前記予測画像を生成する。
情報処理装置。
(4)(3)に記載の情報処理装置であって、
前記撮影条件は、撮影方向、撮影時間、又は前記所定の領域に関する環境情報の少なくとも1つを含む
情報処理装置。
(5)(1)から(4)のうちいずれか1つに記載の情報処理装置であって、
前記画像生成部は、前記所定の領域内に存在する対象物を選択する指示に基づいて、前記対象物が撮影されている前記予測画像を生成する
情報処理装置。
(6)(5)に記載の情報処理装置であって、
前記画像生成部は、前記対象物を選択する指示に関する前記予測画像の生成ルールに基づいて、前記予測画像を生成する
情報処理装置。
(7)(6)に記載の情報処理装置であって、
前記生成ルールは、前記対象物を分類する分類情報と、前記分類情報に関連付けられた情報として、前記対象物に対する相対的な撮影位置、又は前記予測画像内の前記対象物の表示状態の少なくとも一方の情報とを含む
情報処理装置。
(8)(5)から(7)のうちいずれか1項に記載の情報処理装置であって、
前記画像生成部は、選択対象となった前記対象物の位置情報に基づいて予測候補画像を生成し、前記予測画像内の前記対象物の表示状態に関して前記予測候補画像を評価することで、前記予測画像を生成する
情報処理装置。
(9)(1)から(8)のうちいずれか1つに記載の情報処理装置であって、さらに、
入力された前記計画情報の生成に関する指示に基づいて、前記計画情報を生成する計画生成部を具備する
情報処理装置。
(10)(9)に記載の情報処理装置であって、
前記計画生成部は、提示された前記予測画像を選択する指示に基づいて、前記計画情報を生成する
情報処理装置。
(11)(1)から(10)のうちいずれか1つに記載の情報処理装置であって、
前記計画情報は、経由地点、移動時間、又は撮影条件のうち少なくとも1つを含む
情報処理装置。
(12)(1)から(11)のうちいずれか1つに記載の情報処理装置であって、
前記画像データは、撮影機能を有する走査用の移動体が、前記所定の領域内を走査しながら撮影することで取得された画像データである
情報処理装置。
(13)(1)から(12)のうちいずれか1つに記載の情報処理装置であって、
前記画像データは、全天球画像データを含む
情報処理装置。
(14)(1)から(13)のうちいずれか1つに記載の情報処理装置であって、さらに、
前記計画情報に基づいて、前記撮影機能を有する移動体の移動及び撮影に関する動作を制御する制御部を具備する
情報処理装置
(15)(12)に記載の情報処理装置であって、さらに、
前記走査用の移動体の前記所定の領域内の走査及び撮影に関する走査用の計画情報を生成する走査用生成部を具備する
情報処理装置。
(16)(15)に記載の情報処理装置であって、
前記走査用の計画情報は、走査経路に関するコスト情報を含み、
前記コスト情報は、過去に通過した走査経路に基づいて生成される
情報処理装置。
(17)地図上の所定の領域に関する画像データを取得し、
前記画像データに基づいて、前記所定の領域内で撮影が行われた場合に取得されると予測される予測画像を生成し、
撮影機能を有する移動体の前記所定の領域内における移動及び撮影に関する計画情報の生成に関する指示に基づいて、前記予測画像を提示する
ことをコンピュータシステムが実行する情報処理方法。
(18)地図上の所定の領域に関する画像データを取得するステップと、
前記画像データに基づいて、前記所定の領域内で撮影が行われた場合に取得されると予測される予測画像を生成するステップと、
撮影機能を有する移動体の前記所定の領域内における移動及び撮影に関する計画情報の生成に関する指示に基づいて、前記予測画像を提示するステップと
をコンピュータシステムに実行させるプログラム。
(19) 地図上の所定の領域に関する画像データを取得する取得部と、
前記画像データに基づいて、前記所定の領域内で撮影が行われた場合に取得されると予測される予測画像を生成する画像生成部と、
撮影機能を有する移動体の前記所定の領域内における移動及び撮影に関する計画情報の生成に関する指示に基づいて、前記予測画像を提示する提示部と、
入力された前記計画情報の生成に関する指示に基づいて、前記計画情報を生成する計画生成部と
を有する情報処理装置と、
撮影部を有し、前記情報処理装置により生成された前記計画情報に基づいて、前記所定の領域内を移動しながら撮影を実行する移動体と
を具備する情報処理システム。
10…サーバ装置
11、70、90…通信制御部
12、81、151、181…GUI生成部
13…シナリオ計画情報生成部
18…画像データ取得部
19…予測画像生成部
20…画像加工部
50…ドローン
51…撮像装置
60…走査用ドローン
63…カメラ
68…行動計画部
69…コストマップ生成部
82…走査計画情報部
86…走査計画設定部
100…ドローン撮影システム
110、160…計画生成用GUI
154…候補画像生成部
155…撮影ルールDB
184…候補画像判定部
11、70、90…通信制御部
12、81、151、181…GUI生成部
13…シナリオ計画情報生成部
18…画像データ取得部
19…予測画像生成部
20…画像加工部
50…ドローン
51…撮像装置
60…走査用ドローン
63…カメラ
68…行動計画部
69…コストマップ生成部
82…走査計画情報部
86…走査計画設定部
100…ドローン撮影システム
110、160…計画生成用GUI
154…候補画像生成部
155…撮影ルールDB
184…候補画像判定部
Claims (19)
- 地図上の所定の領域に関する画像データを取得する取得部と、
前記画像データに基づいて、前記所定の領域内で撮影が行われた場合に取得されると予測される予測画像を生成する画像生成部と、
撮影機能を有する移動体の前記所定の領域内における移動及び撮影に関する計画情報の生成に関する指示に基づいて、前記予測画像を提示する提示部と
を具備する情報処理装置。 - 請求項1に記載の情報処理装置であって、
前記提示部は、前記計画情報の生成に関する指示を入力するための、前記予測画像を含むGUI(Graphical User Interface)を出力する
情報処理装置。 - 請求項1に記載の情報処理装置であって、
前記画像生成部は、前記所定の領域内の位置、又は撮影条件の少なくとも一方に関する指示に基づいて、前記予測画像を生成する。
情報処理装置。 - 請求項3に記載の情報処理装置であって、
前記撮影条件は、撮影方向、撮影時間、又は前記所定の領域に関する環境情報の少なくとも1つを含む
情報処理装置。 - 請求項1に記載の情報処理装置であって、
前記画像生成部は、前記所定の領域内に存在する対象物を選択する指示に基づいて、前記対象物が撮影されている前記予測画像を生成する
情報処理装置。 - 請求項5に記載の情報処理装置であって、
前記画像生成部は、前記対象物を選択する指示に関する前記予測画像の生成ルールに基づいて、前記予測画像を生成する
情報処理装置。 - 請求項6に記載の情報処理装置であって、
前記生成ルールは、前記対象物を分類する分類情報と、前記分類情報に関連付けられた情報として、前記対象物に対する相対的な撮影位置、又は前記予測画像内の前記対象物の表示状態の少なくとも一方の情報とを含む
情報処理装置。 - 請求項5に記載の情報処理装置であって、
前記画像生成部は、選択対象となった前記対象物の位置情報に基づいて予測候補画像を生成し、前記予測画像内の前記対象物の表示状態に関して前記予測候補画像を評価することで、前記予測画像を生成する
情報処理装置。 - 請求項1に記載の情報処理装置であって、さらに、
入力された前記計画情報の生成に関する指示に基づいて、前記計画情報を生成する計画生成部を具備する
情報処理装置。 - 請求項9に記載の情報処理装置であって、
前記計画生成部は、提示された前記予測画像を選択する指示に基づいて、前記計画情報を生成する
情報処理装置。 - 請求項1に記載の情報処理装置であって、
前記計画情報は、経由地点、移動時間、又は撮影条件のうち少なくとも1つを含む
情報処理装置。 - 請求項1に記載の情報処理装置であって、
前記画像データは、撮影機能を有する走査用の移動体が、前記所定の領域内を走査しながら撮影することで取得された画像データである
情報処理装置。 - 請求項1に記載の情報処理装置であって、
前記画像データは、全天球画像データを含む
情報処理装置。 - 請求項1に記載の情報処理装置であって、さらに、
前記計画情報に基づいて、前記撮影機能を有する移動体の移動及び撮影に関する動作を制御する制御部を具備する
情報処理装置 - 請求項12に記載の情報処理装置であって、さらに、
前記走査用の移動体の前記所定の領域内の走査及び撮影に関する走査用の計画情報を生成する走査用生成部を具備する
情報処理装置。 - 請求項15に記載の情報処理装置であって、
前記走査用の計画情報は、走査経路に関するコスト情報を含み、
前記コスト情報は、過去に通過した走査経路に基づいて生成される
情報処理装置。 - 地図上の所定の領域に関する画像データを取得し、
前記画像データに基づいて、前記所定の領域内で撮影が行われた場合に取得されると予測される予測画像を生成し、
撮影機能を有する移動体の前記所定の領域内における移動及び撮影に関する計画情報の生成に関する指示に基づいて、前記予測画像を提示する
ことをコンピュータシステムが実行する情報処理方法。 - 地図上の所定の領域に関する画像データを取得するステップと、
前記画像データに基づいて、前記所定の領域内で撮影が行われた場合に取得されると予測される予測画像を生成するステップと、
撮影機能を有する移動体の前記所定の領域内における移動及び撮影に関する計画情報の生成に関する指示に基づいて、前記予測画像を提示するステップと
をコンピュータシステムに実行させるプログラム。 - 地図上の所定の領域に関する画像データを取得する取得部と、
前記画像データに基づいて、前記所定の領域内で撮影が行われた場合に取得されると予測される予測画像を生成する画像生成部と、
撮影機能を有する移動体の前記所定の領域内における移動及び撮影に関する計画情報の生成に関する指示に基づいて、前記予測画像を提示する提示部と、
入力された前記計画情報の生成に関する指示に基づいて、前記計画情報を生成する計画生成部と
を有する情報処理装置と、
撮影部を有し、前記情報処理装置により生成された前記計画情報に基づいて、前記所定の領域内を移動しながら撮影を実行する移動体と
を具備する情報処理システム。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP20802949.6A EP3967599A4 (en) | 2019-05-09 | 2020-03-16 | INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING METHOD, PROGRAM AND INFORMATION PROCESSING SYSTEM |
JP2021518311A JPWO2020225979A1 (ja) | 2019-05-09 | 2020-03-16 | |
US17/607,414 US20220221857A1 (en) | 2019-05-09 | 2020-03-16 | Information processing apparatus, information processing method, program, and information processing system |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019-089144 | 2019-05-09 | ||
JP2019089144 | 2019-05-09 |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2020225979A1 true WO2020225979A1 (ja) | 2020-11-12 |
Family
ID=73051369
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2020/011395 WO2020225979A1 (ja) | 2019-05-09 | 2020-03-16 | 情報処理装置、情報処理方法、プログラム、及び情報処理システム |
Country Status (4)
Country | Link |
---|---|
US (1) | US20220221857A1 (ja) |
EP (1) | EP3967599A4 (ja) |
JP (1) | JPWO2020225979A1 (ja) |
WO (1) | WO2020225979A1 (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116817929B (zh) * | 2023-08-28 | 2023-11-10 | 中国兵器装备集团兵器装备研究所 | 一种无人机对地平面多目标同时定位方法及*** |
CN117451047B (zh) * | 2023-09-26 | 2024-07-23 | 中国公路工程咨询集团有限公司 | 一种基于巡检机器人的公路桥梁桩基检测方法及*** |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH10246632A (ja) * | 1997-03-05 | 1998-09-14 | Kumagai Gumi Co Ltd | 写真撮影管理方法 |
JP2001141452A (ja) | 1999-11-17 | 2001-05-25 | Asia Air Survey Co Ltd | 航空写真撮影計画シミュレーション方法 |
JP2006133171A (ja) * | 2004-11-09 | 2006-05-25 | Hirobumi Chikatsu | 測量シミュレーション装置及び測量シミュレーションプログラム |
US20150226575A1 (en) * | 2013-06-20 | 2015-08-13 | University Of Florida Research Foundation, Inc. | Flight path development for remote sensing vehicles in a moving reference frame |
JP2019053500A (ja) * | 2017-09-14 | 2019-04-04 | Kddi株式会社 | 管理装置、プログラム、管理方法及び飛行装置 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP4064169A1 (en) * | 2017-04-27 | 2022-09-28 | Snap Inc. | Map based graphical user interface indicating geospatial activity metrics |
CN110914780B (zh) * | 2017-04-28 | 2023-08-08 | 株式会社OPTiM | 无人飞行器的动作计划制作***、方法以及程序 |
-
2020
- 2020-03-16 EP EP20802949.6A patent/EP3967599A4/en active Pending
- 2020-03-16 US US17/607,414 patent/US20220221857A1/en active Pending
- 2020-03-16 JP JP2021518311A patent/JPWO2020225979A1/ja active Pending
- 2020-03-16 WO PCT/JP2020/011395 patent/WO2020225979A1/ja unknown
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH10246632A (ja) * | 1997-03-05 | 1998-09-14 | Kumagai Gumi Co Ltd | 写真撮影管理方法 |
JP2001141452A (ja) | 1999-11-17 | 2001-05-25 | Asia Air Survey Co Ltd | 航空写真撮影計画シミュレーション方法 |
JP2006133171A (ja) * | 2004-11-09 | 2006-05-25 | Hirobumi Chikatsu | 測量シミュレーション装置及び測量シミュレーションプログラム |
US20150226575A1 (en) * | 2013-06-20 | 2015-08-13 | University Of Florida Research Foundation, Inc. | Flight path development for remote sensing vehicles in a moving reference frame |
JP2019053500A (ja) * | 2017-09-14 | 2019-04-04 | Kddi株式会社 | 管理装置、プログラム、管理方法及び飛行装置 |
Non-Patent Citations (1)
Title |
---|
See also references of EP3967599A4 |
Also Published As
Publication number | Publication date |
---|---|
US20220221857A1 (en) | 2022-07-14 |
JPWO2020225979A1 (ja) | 2020-11-12 |
EP3967599A1 (en) | 2022-03-16 |
EP3967599A4 (en) | 2022-07-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11635775B2 (en) | Systems and methods for UAV interactive instructions and control | |
US20210065400A1 (en) | Selective processing of sensor data | |
US10860040B2 (en) | Systems and methods for UAV path planning and control | |
US11649052B2 (en) | System and method for providing autonomous photography and videography | |
US20210072745A1 (en) | Systems and methods for uav flight control | |
WO2017075964A1 (zh) | 无人机拍摄控制方法、无人机拍摄方法、移动终端和无人机 | |
WO2020062178A1 (zh) | 基于地图识别目标对象的方法与控制终端 | |
JP6583840B1 (ja) | 検査システム | |
US20230359204A1 (en) | Flight control method, video editing method, device, uav and storage medium | |
WO2020225979A1 (ja) | 情報処理装置、情報処理方法、プログラム、及び情報処理システム | |
US20200221056A1 (en) | Systems and methods for processing and displaying image data based on attitude information | |
JP2023100642A (ja) | 検査システム | |
JP7501535B2 (ja) | 情報処理装置、情報処理方法、情報処理プログラム | |
Bailey | Unmanned aerial vehicle path planning and image processing for orthoimagery and digital surface model generation | |
JP2020036163A (ja) | 情報処理装置、撮影制御方法、プログラム及び記録媒体 | |
JP6681101B2 (ja) | 検査システム | |
WO2022188151A1 (zh) | 影像拍摄方法、控制装置、可移动平台和计算机存储介质 | |
JP6681102B2 (ja) | 検査システム | |
JP2023083072A (ja) | 方法、システムおよびプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 20802949 Country of ref document: EP Kind code of ref document: A1 |
|
ENP | Entry into the national phase |
Ref document number: 2021518311 Country of ref document: JP Kind code of ref document: A |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
ENP | Entry into the national phase |
Ref document number: 2020802949 Country of ref document: EP Effective date: 20211209 |