WO2021199449A1 - 位置算出方法及び情報処理システム - Google Patents

位置算出方法及び情報処理システム Download PDF

Info

Publication number
WO2021199449A1
WO2021199449A1 PCT/JP2020/015433 JP2020015433W WO2021199449A1 WO 2021199449 A1 WO2021199449 A1 WO 2021199449A1 JP 2020015433 W JP2020015433 W JP 2020015433W WO 2021199449 A1 WO2021199449 A1 WO 2021199449A1
Authority
WO
WIPO (PCT)
Prior art keywords
user terminal
dimensional coordinate
information
calculation method
user
Prior art date
Application number
PCT/JP2020/015433
Other languages
English (en)
French (fr)
Inventor
西本　晋也
Original Assignee
株式会社センシンロボティクス
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社センシンロボティクス filed Critical 株式会社センシンロボティクス
Priority to PCT/JP2020/015433 priority Critical patent/WO2021199449A1/ja
Priority to JP2020545756A priority patent/JP6829513B1/ja
Priority to JP2021001173A priority patent/JP2021162572A/ja
Publication of WO2021199449A1 publication Critical patent/WO2021199449A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/10—Simultaneous control of position or course in three dimensions
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G5/00—Traffic control systems for aircraft, e.g. air-traffic control [ATC]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04Q—SELECTING
    • H04Q9/00—Arrangements in telecontrol or telemetry systems for selectively calling a substation from a main station, in which substation desired apparatus is selected for applying a control signal thereto or for obtaining measured values therefrom

Definitions

  • the present invention relates to a position calculation method and an information processing system.
  • Patent Document 1 discloses a method of controlling an air vehicle by a dedicated device such as a radio.
  • Patent Document 1 it is not easy to operate with a dedicated device such as a radio, and a skilled technique is required to control the flying object especially for work such as inspection.
  • the present invention has been made in view of such a background, and an object of the present invention is to provide a position calculation method, a flight control method, and an information processing system capable of easily controlling an air vehicle on site.
  • the main invention of the present invention for solving the above problems is a method of calculating a position designated on the screen of a user terminal, which is a predetermined position on a captured image acquired by a photographing unit on the screen of the user terminal.
  • the step of calculating the angle and orientation to the three-dimensional coordinate position corresponding to the coordinate position, at least the three-dimensional coordinate position indicated by the user terminal position information, and the calculated angle and orientation are ternary in the virtual space.
  • a virtual straight line is extended from the three-dimensional coordinate position indicated by the user terminal position information to the calculated angle and orientation in association with the original coordinates, the three-dimensional shape indicated by the point data that first contacts the straight line.
  • FIG. 1 It is a figure which shows the structure of the management system which concerns on embodiment of this invention. It is a block diagram which shows the hardware configuration of the management server of FIG. It is a block diagram which shows the hardware configuration of the user terminal of FIG. It is a block diagram which shows the hardware composition of the flying object of FIG. It is a block diagram which shows the function of the management server of FIG. It is a block diagram which shows the structure of the parameter information storage part of FIG. It is a flowchart of the flight control method which concerns on embodiment of this invention. It is a figure which shows an example of the description about the position calculation method which concerns on embodiment of this invention. It is a figure which shows an example of the description about the position calculation method which concerns on embodiment of this invention. It is a figure which shows an example of the description about the position calculation method which concerns on embodiment of this invention. It is a figure which shows an example of the description about the position calculation method which concerns on embodiment of this invention. It is a figure which shows an example of the description about the position calculation method which concerns on
  • the position calculation method and the information processing system according to the embodiment of the present invention have the following configurations.
  • [Item 1] It is a calculation method of the position specified on the screen of the user terminal.
  • the three-dimensional coordinate position indicated by the point data that first contacts the straight line corresponds to the position specified by the user, which is the virtual designated position in the virtual space.
  • the point data is one of the three-dimensional point cloud data in the virtual space.
  • the point data is stored in the air vehicle, A position calculation method characterized by this.
  • [Item 4] The position calculation method according to item 1 or 2.
  • the point data is stored in the user terminal. A position calculation method characterized by this.
  • the position calculation method according to items 1 to 4. The photographing unit is provided in the user terminal. A position calculation method characterized by this.
  • [Item 6] The position calculation method according to items 1 to 4.
  • the photographing unit is provided on the flying object. A position calculation method characterized by this.
  • [Item 7] An information processing system that calculates a specified position on the screen of a user terminal.
  • the information processing system includes a shooting unit, a designated position information acquisition unit, a shooting state information receiving unit, and a position calculation unit.
  • the designated position information acquisition unit On the screen of the user terminal, a two-dimensional coordinate position on the screen of the user terminal corresponding to a predetermined position specified by the user on the captured image acquired by the photographing unit is acquired.
  • the shooting state information receiving unit is Upon receiving the shooting state information including at least the shooting angle of view, the shooting angle, the shooting direction, and the user terminal position information when the predetermined position is specified,
  • the position calculation unit Based on the two-dimensional coordinate position and the shooting state information, the angle and orientation from the three-dimensional coordinate position indicated by the user terminal position information to the three-dimensional coordinate position corresponding to the two-dimensional coordinate position on the screen of the user terminal. Is calculated and At least the three-dimensional coordinate position indicated by the user terminal position information and the calculated angle and orientation are associated with the three-dimensional coordinates in the virtual space, and the calculation is made from the three-dimensional coordinate position indicated by the user terminal position information.
  • the three-dimensional coordinate position indicated by the point data that first contacts the straight line corresponds to the position specified by the user, which is the virtual designated position in the virtual space.
  • the three-dimensional coordinate position of the user-designated designated position in the real space is calculated from the virtual designated position.
  • the management system includes a management server 1, one or more user terminals 2, one or more flying objects 4, and one or more flying object storage devices 5. ing.
  • the management server 1, the user terminal 2, the flying object 4, and the flying object storage device 5 are connected to each other so as to be able to communicate with each other via a network.
  • the illustrated configuration is an example, and is not limited to this. For example, a configuration that is carried by the user without having the flying object storage device 5 may be used.
  • FIG. 2 is a diagram showing a hardware configuration of the management server 1.
  • the illustrated configuration is an example, and may have other configurations.
  • the management server 1 is connected to a plurality of user terminals 2, an air vehicle 4, and an air vehicle storage device 5 to form a part of this system.
  • the management server 1 may be a general-purpose computer such as a workstation or a personal computer, or may be logically realized by cloud computing.
  • the management server 1 includes at least a processor 10, a memory 11, a storage 12, a transmission / reception unit 13, an input / output unit 14, and the like, and these are electrically connected to each other through a bus 15.
  • the processor 10 is an arithmetic unit that controls the operation of the entire management server 1, controls the transmission and reception of data between each element, and performs information processing and the like necessary for application execution and authentication processing.
  • the processor 10 is a CPU (Central Processing Unit) and / or a GPU (Graphics Processing Unit), and executes each information processing by executing a program or the like for the system stored in the storage 12 and expanded in the memory 11. ..
  • the memory 11 includes a main memory composed of a volatile storage device such as a DRAM (Dynamic Random Access Memory) and an auxiliary memory composed of a non-volatile storage device such as a flash memory or an HDD (Hard Disk Drive). ..
  • the memory 11 is used as a work area or the like of the processor 10, and also stores a BIOS (Basic Input / Output System) executed when the management server 1 is started, various setting information, and the like.
  • BIOS Basic Input / Output System
  • the storage 12 stores various programs such as application programs.
  • a database storing data used for each process may be built in the storage 12.
  • the transmission / reception unit 13 connects the management server 1 to the network and the blockchain network.
  • the transmission / reception unit 13 may be provided with a short-range communication interface of Bluetooth (registered trademark) and BLE (Bluetooth Low Energy).
  • the input / output unit 14 is an information input device such as a keyboard and a mouse, and an output device such as a display.
  • the bus 15 is commonly connected to each of the above elements and transmits, for example, an address signal, a data signal, and various control signals.
  • the user terminal 2 shown in FIG. 3 also includes a processor 20, a memory 21, a storage 22, a transmission / reception unit 23, an input / output unit 24, a photographing unit 26, a photographing state information acquisition unit 27, and the like, and these are mutually provided through a bus 25. It is electrically connected. Since the functions of each element can be configured in the same manner as the management server 1 described above, detailed description of the same configuration will be omitted.
  • the photographing unit 26 is, for example, a visible light camera or an infrared camera, and acquires a photographed image (for example, a still image, a moving image, etc.).
  • FIG. 4 is a block diagram showing a hardware configuration of the air vehicle 4.
  • the flight controller 41 can have one or more processors such as a programmable processor (eg, central processing unit (CPU)).
  • a programmable processor eg, central processing unit (CPU)
  • the flight controller 41 has a memory 411 and can access the memory.
  • Memory 411 stores logic, code, and / or program instructions that the flight controller can execute to perform one or more steps.
  • the flight controller 41 may include sensors 412 such as an inertial sensor (accelerometer, gyro sensor), GPS sensor, proximity sensor (for example, rider) and the like.
  • Memory 411 may include, for example, a separable medium such as an SD card or random access memory (RAM) or an external storage device.
  • the data acquired from the photographing unit / sensors 42 may be directly transmitted and stored in the memory 411.
  • the still image / moving image data taken by the shooting unit or the like may be recorded in the built-in memory or the external memory, but the present invention is not limited to this, and at least the management server from the shooting unit / sensor 42 or the built-in memory via the network NW. It may be recorded in any one of 1, the user terminal 2, and the air vehicle storage device 5.
  • the photographing unit 42 is installed on the flying object 4 via the gimbal 43.
  • the flight controller 41 includes a control module (not shown) configured to control the state of the flying object.
  • the control module adjusts the spatial placement, velocity, and / or acceleration of an air vehicle with six degrees of freedom (translational motion x, y and z, and rotational motion ⁇ x , ⁇ y and ⁇ z).
  • ESC44 Electric Speed Controller
  • the propulsion mechanism (motor 45, etc.) of the flying object.
  • the propeller 46 is rotated by the motor 45 supplied from the battery 48 to generate lift of the flying object.
  • the control module can control one or more of the states of the mounting unit and the sensors.
  • the flight controller 41 is configured to transmit and / or receive data from one or more external devices (eg, transmitter / receiver (propo) 49, terminal, display device, or other remote control). It is possible to communicate with the unit 47.
  • the transceiver 49 can use any suitable communication means such as wired communication or wireless communication.
  • the transmission / reception unit 47 uses one or more of a local area network (LAN), a wide area network (WAN), infrared rays, wireless, WiFi, a point-to-point (P2P) network, a telecommunications network, cloud communication, and the like. can do.
  • LAN local area network
  • WAN wide area network
  • P2P point-to-point
  • the transmission / reception unit 47 transmits and / or receives one or more of the data acquired by the sensors 42, the processing result generated by the flight controller 41, the predetermined control data, the user command from the terminal or the remote controller, and the like. be able to.
  • Sensors 42 may include an inertial sensor (acceleration sensor, gyro sensor), GPS sensor, proximity sensor (eg, rider), or vision / image sensor (eg, camera).
  • inertial sensor acceleration sensor, gyro sensor
  • GPS sensor GPS sensor
  • proximity sensor eg, rider
  • vision / image sensor eg, camera
  • FIG. 5 is a block diagram illustrating the functions implemented in the management server 1, the user terminal 2, and the flying object 4 in the present embodiment.
  • the processor 10 includes a flight mission generation unit 110, and the storage 12 includes a flight path information storage unit 122 and a flight log storage unit 124, and a transmission / reception unit 13 Is provided with a communication unit 130.
  • the flight mission generation unit 110 includes a flight path generation unit 112.
  • the storage 12 may further have a storage unit for storing information necessary for executing a flight mission, and may include, for example, information on flight conditions (for example, flight speed, waypoint interval, etc.), and described later. It may have a storage unit (not shown) for storing virtual space information (for example, three-dimensional point group data).
  • Flight mission generation unit 110 generates flight missions.
  • a flight mission is information such as a flight path including at least waypoint information (including, for example, latitude / longitude information and flight altitude information).
  • the flight path generator 112 obtains the three-dimensional point cloud model information of the object, the current position of the aircraft, the flight mission start position, the distance from the object, and the like. May automatically calculate and set waypoints.
  • the generated information regarding the flight path may be stored in the flight path information storage unit (not shown).
  • the flight mission may include, for example, user-designated work (for example, imaging, inspection, security, etc.), and the flying object may be controlled so as to start the above work from the flight mission start position.
  • Detailed settings for executing each flight mission may be registered in advance in the management server 1 or the like.
  • the flight path may be, for example, a flight start position with the position where the aircraft is hovering and waiting near the user or the position where the aircraft is carried by the user as the current position without having the flight object storage device 5.
  • the user may collect the aircraft at the end of the flight, or based on the information of the aircraft storage device 5 managed by the management server 1 (for example, position information, storage state information, storage aircraft information, etc.).
  • the configuration may be generated as a flight path including the position of the flying object storage device 5 selected as the flight start position, the intermediate stop point, or the flight end position.
  • the flight path information storage unit 122 stores the flight path information of the flying object generated by the flight mission generation unit 110.
  • the flight log storage unit 124 has, for example, information acquired by the aircraft 4 on the flight path set in the flight mission (for example, position information from takeoff to landing, still images, moving images, etc.). Memorize voice and other information).
  • the communication unit 130 communicates with the user terminal 2, the flying object 4, and the flying object storage device 5.
  • the communication unit 130 also functions as a reception unit that receives flight requests from the user terminal 2.
  • the processor 20 includes a shooting state information acquisition unit 220 and a designated position information acquisition unit 240
  • the storage 22 includes a shooting state information storage unit 222.
  • the transmission / reception unit 23 includes a communication unit 230.
  • the storage 22 may further have a storage unit (not shown) for storing the designated position information acquired by the designated position information acquisition unit 240.
  • the shooting state information acquisition unit 220 is a storage unit (memory 21 or storage) that stores information (for example, shooting angle of view information) related to sensors such as GPS, gyro sensor, pressure sensor, temperature sensor, and the shooting unit 26 of the terminal. (It may be a part of 22), etc., the shooting angle of view information, shooting angle information, shooting orientation information, user terminal position information (for example, latitude / longitude information and altitude information, etc.) of the user terminal when the shot image is acquired. ) Etc. are acquired as shooting status information.
  • the altitude information included in the user terminal position information may be altitude information calculated based on the above-mentioned barometric pressure sensor or temperature sensor, or altitude information set by the user, but for example, height information set by the user, Alternatively, the altitude information may be a value offset in the vertical direction by a predetermined height according to the assumed position of the user terminal from the average height information according to the gender of the user.
  • the designated position information acquisition unit 240 is a position on the screen designated by the user (for example, an xy coordinate position set with a predetermined position as the origin, the width direction of the screen as the x-axis, and the height direction of the screen as the y-axis). Is acquired as the specified position information.
  • the method for the user to specify the position on the screen is, for example, touching the touch display with a finger to specify, operating an object such as a pointer to specify, or moving the user terminal 2 to specify the position on the screen. It can be realized by specifying by aligning a specific position (for example, the center) and executing a determination operation.
  • the shooting state information storage unit 222 includes at least a shooting image angle information storage unit 2221, a shooting angle information storage unit 2222, a shooting orientation information storage unit 2223, and a user terminal position information storage unit 2224, and is a target.
  • the shooting status information to be performed is stored.
  • the communication unit 230 communicates with the management server 1, the flying object 4, and the flying object storage device 5.
  • the processor 413 includes a shooting state information receiving unit 415 and a position calculation unit 417, and the memory 411 includes a virtual space information storage unit 421 to transmit and receive.
  • the unit 47 includes a communication unit 470.
  • the memory 411 may further have a storage unit (not shown) for storing the shooting state information received by the shooting state information receiving unit 415.
  • the shooting state information receiving unit 415 receives the shooting state information acquired by the shooting state information acquisition unit 220 of the user terminal 2 via the communication unit 470.
  • the position calculation unit 417 has at least the shooting state information and the designated position information of the user terminal 2, the virtual space information (for example, three-dimensional point cloud data) stored in the virtual space information 421, and the current position information of the flying object 4 (for example, from GPS). Based on (acquire), it is calculated whether the designated position specified by the user on the screen of the user terminal 2 is the position in the virtual space or the real space. The detailed calculation method will be described later.
  • the virtual space information storage unit 421 stores virtual space information including three-dimensional point cloud data in a range that can be photographed from, for example, the user terminal 2.
  • the three-dimensional point cloud data is, for example, three-dimensional coordinate data in a virtual space acquired by an imaging unit or a sensor capable of measuring LIDAR (Light Detection and Range) or Depth, and is acquired by flying in advance or via a network.
  • LIDAR Light Detection and Range
  • Depth For example, data in a necessary range may be acquired from the management server 1.
  • the three-dimensional coordinates in the real space of the flying object 4 and the three-dimensional coordinates in the virtual space may be associated with each other in advance and stored in the virtual space information storage unit 421.
  • the function of the processor 413 on the flying object 4 is described based on an example in which the position calculation unit 417 is provided, but the present invention is not limited to this, and for example, the processor 20 of the user terminal 2 is described.
  • the processor 10 of the management server 1 and the processor of the air vehicle storage device 5 may be provided as functions, and the information necessary for position calculation may be read out to the corresponding processor for calculation. As a result, the processing load for position calculation can be assigned to the desired processor.
  • the position calculation and the flying object are controlled based on the captured image of the photographing unit 26 of the user terminal 2. Instead, the position calculation and the flying object are performed based on the captured image of the photographing unit of the flying object 4. It may be controlled. At this time, the position calculation may be realized by displaying the captured image of the photographing unit of the flying object 4 on the screen of the user terminal 2 in the same manner as the image captured by the photographing unit 26 of the user terminal 2.
  • the user points the shooting unit 26 of the user terminal 2 at the shooting environment while visually observing the shooting environment, and objectively and intuitively specifies the position. It is possible to control the flying object 4 by this, but when based on the captured image of the photographing unit of the flying object 4, the position is subjectively and intuitively as if the user is moving directly. It is possible to control the flying object by specifying.
  • FIG. 7 illustrates a flowchart of the position calculation method according to the present embodiment.
  • FIG. 8-10 is a diagram showing an example of an explanation regarding the position calculation method according to the embodiment of the present invention. Further, as an example, a configuration will be described in which a position calculation unit 417 is provided as a function of the processor 413 on the flying object 4 and the position is calculated based on the captured image of the photographing unit 26 of the user terminal 2.
  • a predetermined position on the captured image S acquired by the photographing unit 26 is designated by the pointer P or the like (SQ101).
  • the flying object 4 uses the shooting state information receiving unit 415 to specify a predetermined position (xy coordinate position on the screen) designated on the screen of the user terminal 2 and the shooting state information when the predetermined position is specified in the SQ101. (Shooting angle of view, shooting angle, shooting direction, user terminal position information) is acquired (SQ102).
  • the flying object 4 is subjected to a predetermined position (xy on the screen) specified on the screen from the position (three-dimensional coordinates) of the user terminal based on the above-mentioned xy coordinate position and shooting state information by the position calculation unit 417.
  • the angle and orientation to at least the position (three-dimensional coordinates) in the virtual space corresponding to the coordinate position) are calculated (SQ103).
  • FIG. 9 will be used to illustrate a method of calculating the angle in the y-axis direction.
  • the deviation width d y from the center of the photographing unit is obtained by subtracting the half value of the height d h determined by the resolution from the specified position y in the y-axis direction on the screen when the origin of the y coordinate on the screen is set as the upper end. It is the absolute value of the value, and the relationship of the following equation 1 holds.
  • Equation 4 Equation 4
  • the deviation angle ⁇ h from the direction of the photographing unit also satisfies the relationship of the following equation (5).
  • the deviation orientation ⁇ w from the orientation of the photographing unit in the x-axis direction is calculated by the same calculation method.
  • the flying object 4 uses the position calculation unit 417 to set the deviation angle ⁇ h and the deviation direction ⁇ w calculated by the position P s of the user terminal 2 and the SQ 103, and the position P d of the aircraft 4 in three dimensions in the virtual space.
  • the left figure of FIG. 10 shows the relationship between the position P s of the user terminal 2, the deviation direction ⁇ w calculated by the above mathematical formula, the object specified on the image, and the specified position. Then, these values and the position P d of the flying object 4 are applied by the position calculation unit 417 of the flying object 4 in the virtual space to which the three-dimensional point cloud data is mapped, as shown in the right figure of FIG. It becomes a positional relationship.
  • a virtual straight line is extended in the direction of the deviation direction ⁇ w from the position P s of the user terminal 2, and the position of the point data D that first contacts is calculated as the position specified by the user.
  • the same thing is done in parallel in the y-axis direction using the shift angle ⁇ h, and as a result, the three-dimensional coordinates of the point data in the virtual space corresponding to the position specified by the user.
  • the position (virtually designated position) is calculated.
  • the position specified by the user in the real space is calculated from the correspondence between the three-dimensional coordinates in the virtual space and the three-dimensional coordinates in the real space (SQ105). ..
  • the position in the real space is calculated based on the position P d of the flying object 4, but the user terminal 2 is in the virtual space.
  • the information regarding the position P d of the flying object 4 is not always necessary, and only the position P s of the user terminal 2 may be sufficient.
  • the position specified by the user on the screen of the user terminal 2 can be calculated as a three-dimensional coordinate position in the real space, and various flying objects can be easily controlled by using this.
  • the flying object 4 may be controlled to fly to that position by using the three-dimensional coordinates of the position specified on the screen of the user terminal 2 in the real space.
  • the control may be executed by the processor 413 of the aircraft 4 or the processor 20 of the user terminal 2, or may be executed by the processor 10 of the management server 1.
  • the flying object 4 can be easily flown to that position simply by specifying it on the screen of the user terminal 2.
  • the flying object 4 is flown to the position specified by the user.
  • the shape of the object including the position is determined and the position specified by the user ( And a flight mission such as an inspection may be executed from a position offset by a predetermined distance from the position).
  • the three-dimensional point cloud data may be referred to, or the three-dimensional point cloud data of the object may be acquired on the spot by LIDAR or the like mounted on the flying object 4.
  • the flight mission may be executed by determining the flight path based on the three-dimensional point cloud data of the object, with the position specified by the user as the flight mission start position.
  • the management server 1 may also store the virtual space information stored in the flight body 4, and the flight path generation unit 112 may generate the flight path.
  • the flight mission may be specified by any flight mission before the user specifies the position.
  • Aircraft control example 1-3 In the above-mentioned control examples 1-1 and 1-2 of the flying object, the three-dimensional coordinates of the point data are used as the position specified by the user. Instead, the object including the point data is determined. The shape of the object may be determined from the three-dimensional point cloud data, and a flight path for a flight mission to the object may be generated in advance. As a result, the user can execute a flight mission to the object without strictly specifying the position for controlling the flying object.
  • ⁇ Flying object control example 1-4> For example, after flying the flying object 4 to a position designated by the user, communication may be performed with a device capable of communicating with the flying object 4.
  • the device is an air vehicle storage device 5, for transmitting information acquired in the air vehicle 4 to a management server 1 or the like via the air vehicle storage device 5 or storing the information in the air vehicle storage device 5.
  • Communication processing may be performed, or communication processing for performing a flight mission in place of or jointly with an air vehicle in the air vehicle storage device 5 may be performed. Which of these operations is to be performed may be configured so that when the user specifies a position on the screen of the user terminal 2, the operation is also specified on the user terminal 2.
  • Aircraft Control Example 2-1> For example, as described above, when calculating the three-dimensional coordinates of the position specified on the screen of the user terminal 2 in the real space, the user terminal position P in the virtual space. When the virtual straight line is extended from s, if it does not come into contact with any of the three-dimensional point cloud data, or if it does not come into contact with the three-dimensional point cloud data even if it is extended by a predetermined distance, the flying object 4 is determined.
  • a fail-safe operation may be performed. As the fail-safe operation, for example, the user may fly to the position designated by the user or the position of the user terminal 2 on the spot or at the end to hover or land. Further, an alert display to the user terminal 2 (for example, a display indicating that the three-dimensional point cloud data is not touched and the position cannot be calculated) may be displayed.
  • Aircraft control example 2-2 For example, as described above, when the flight body 4 is controlled to fly to a position specified by the user and an obstacle is determined by a photographing unit or a sensor mounted on the flight body 4, a predetermined fail-safe operation (their). You may stop at the field and hover or land, or you may return to the position specified immediately before or the position of the user terminal 2, and the shape of the obstacle can be found in the three-dimensional point cloud data. If it can be determined, the flight may be continued to avoid obstacles) or an alert display may be executed. Further, for example, in the case of the positional relationship as shown in FIG. 11, since the object itself at the position specified by the user can be an obstacle, a predetermined fail-safe operation (particularly, the flight path is changed).
  • the three-dimensional point cloud data may be used to generate a route that goes around the object or a route that exceeds the sky side) or an alert display.
  • the color information is determined by the photographing unit mounted on the flying object 4 and the ratio of the pre-registered colors is high (for example, it is green assuming that the color has moved toward the lawn or the leaves of a tree).
  • brown which is the color of the soil such as the ground, may be registered), and a predetermined fail-safe operation or alert display may be performed.
  • ⁇ Flying object control example 2-3> The above-mentioned control of the air vehicle 4 mainly assumes that the air vehicle 4 travels straight to a position specified by the user, but for example, when the user specifies the position, the three-dimensional point cloud data acquired in advance is used. , If it can be determined that the obstacle collides with the obstacle before the specified position when going straight to the position specified by the user, the shape of the obstacle is set as a three-dimensional point cloud at the stage where the user specifies the position. It may be determined from the data and a flight path to avoid it may be generated. In addition, an alert display (for example, the fact that the vehicle collides with an obstacle or the flight route has been changed) may be displayed.
  • an alert display for example, the fact that the vehicle collides with an obstacle or the flight route has been changed
  • ⁇ Flight body control example 3-1> a configuration in which the position is calculated based on the captured image of the photographing unit 26 of the user terminal 2 has been described.
  • the position may be calculated based on this.
  • This configuration is particularly effective indoors (for example, in a living room, a warehouse, a factory, a building, etc.) where an object including a wall can be specified in any direction, and is subjective from the viewpoint of the photographing unit of the flying object 4. It is possible to specify the traveling direction of the flying object 4 objectively and intuitively. Note that, for example, while flying to a position specified by the user, the direction of the photographing unit of the flying object 4 is changed, and the user redesignates the position to change the traveling direction of the flying object 4. You may control it.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Navigation (AREA)
  • Traffic Control Systems (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

【課題】本発明は、簡易に現場で飛行体の制御が可能な位置算出方法及び情報処理システムを提供すること。 【解決手段】本発明は、撮影画像上の所定の位置を指定するステップと、所定の位置に対応する二次元座標位置、及び、少なくとも撮影状態情報を取得するステップと、二次元座標位置と撮影状態情報に基づき、ユーザ端末位置から、二次元座標位置に対応する、三次元座標位置への角度及び方位を算出するステップと、少なくともユーザ端末位置、及び、算出された角度及び方位を仮想空間内の三次元座標に対応付け、ユーザ端末位置から、算出された角度及び方位へ仮想的な直線を延ばした際に、直線と最初に接触した点データを、ユーザが指定した位置に対応する、仮想指定位置として算出するステップと、仮想指定位置から指定位置の三次元座標位置を算出するステップと、を含む、ことを特徴とする位置算出方法

Description

位置算出方法及び情報処理システム
　本発明は、位置算出方法及び情報処理システムに関する。
　近年、ドローン（Ｄｒｏｎｅ）や無人航空機（ＵＡＶ：Ｕｎｍａｎｎｅｄ　Ａｅｒｉａｌ　Ｖｅｈｉｃｌｅ）などの飛行体（以下、「飛行体」と総称する）が産業に利用され始めている。こうした中で、特許文献１には、プロポ等の専用装置による飛行体の制御方法が開示されている。
特開２０１８－０９３４３５号公報
　しかしながら、上記特許文献１の開示技術では、プロポ等の専用装置による操作は容易ではなく、特に点検等の作業のために飛行体を制御するためには熟練の技術が必要である。
　一方で、事前に飛行経路を指定し、当該飛行経路に沿って自動的に飛行体を制御する方法もあるが、現場外で飛行経路を指定することが通常であり、現場の状況に対する柔軟性に欠けるものであった。
　本発明はこのような背景を鑑みてなされたものであり、簡易に現場で飛行体の制御が可能な位置算出方法及び飛行制御方法、情報処理システムを提供することを目的とする。
　上記課題を解決するための本発明の主たる発明は、ユーザ端末の画面上で指定された位置の算出方法であって、前記ユーザ端末の画面上で、撮影部により取得された撮影画像上の所定の位置を指定するステップと、前記所定の位置に対応する前記ユーザ端末の画面上の二次元座標位置、及び、前記所定の位置を指定した際の、少なくとも撮影画角、撮影角度、撮影方位、ユーザ端末位置情報を含む撮影状態情報を取得するステップと、前記二次元座標位置と前記撮影状態情報に基づき、前記ユーザ端末位置情報が示す三次元座標位置から、前記ユーザ端末の画面上の二次元座標位置に対応する、三次元座標位置への角度及び方位を算出するステップと、少なくとも前記ユーザ端末位置情報が示す三次元座標位置、及び、前記算出された角度及び方位を前記仮想空間内の三次元座標に対応付け、前記ユーザ端末位置情報が示す三次元座標位置から、前記算出された角度及び方位へ仮想的な直線を延ばした際に、前記直線と最初に接触した点データが示す三次元座標位置を、前記ユーザが指定した位置に対応する、前記仮想空間内の仮想指定位置として算出するステップと、前記仮想空間上の三次元座標と、現実空間上の三次元座標との対応関係に基づき、前記仮想指定位置から現実空間上におけるユーザが指定した指定位置の三次元座標位置を算出するステップと、を含む、ことを特徴とする位置算出方法、である。
　本発明によれば、簡易に現場で飛行体の制御が可能な位置算出方法及び情報処理システムを提供することができる。
本発明の実施の形態にかかる管理システムの構成を示す図である。 図１の管理サーバのハードウェア構成を示すブロック図である。 図１のユーザ端末のハードウェア構成を示すブロック図である。 図１の飛行体のハードウェア構成を示すブロック図である。 図１の管理サーバの機能を示すブロック図である。 図５のパラメータ情報記憶部の構造を示すブロック図である。 本発明の実施の形態にかかる飛行制御方法のフローチャートである。 本発明の実施の形態にかかる位置算出方法に関する説明の一例を示す図である。 本発明の実施の形態にかかる位置算出方法に関する説明の一例を示す図である。 本発明の実施の形態にかかる位置算出方法に関する説明の一例を示す図である。 本発明の実施の形態にかかる位置算出方法に関する説明の一例を示す図である。
　本発明の実施形態の内容を列記して説明する。本発明の実施の形態による位置算出方法及び情報処理システムは、以下のような構成を備える。
［項目１］
　ユーザ端末の画面上で指定された位置の算出方法であって、
　前記ユーザ端末の画面上で、撮影部により取得された撮影画像上の所定の位置を指定するステップと、
　前記所定の位置に対応する前記ユーザ端末の画面上の二次元座標位置、及び、前記所定の位置を指定した際の、少なくとも撮影画角、撮影角度、撮影方位、ユーザ端末位置情報を含む撮影状態情報を受信するステップと、
　前記二次元座標位置と前記撮影状態情報に基づき、前記ユーザ端末位置情報が示す三次元座標位置から、前記ユーザ端末の画面上の二次元座標位置に対応する、三次元座標位置への角度及び方位を算出するステップと、
　少なくとも前記ユーザ端末位置情報が示す三次元座標位置、及び、前記算出された角度及び方位を仮想空間内の三次元座標に対応付け、前記ユーザ端末位置情報が示す三次元座標位置から、前記算出された角度及び方位へ仮想的な直線を延ばした際に、前記直線と最初に接触した点データが示す三次元座標位置を、前記ユーザが指定した位置に対応する、前記仮想空間内の仮想指定位置として算出するステップと、
　前記仮想空間上の三次元座標と、現実空間上の三次元座標との対応関係に基づき、前記仮想指定位置から現実空間上におけるユーザが指定した指定位置の三次元座標位置を算出するステップと、を含む、
　ことを特徴とする位置算出方法。
［項目２］
　項目１に記載の位置算出方法であって、
　前記点データは、仮想空間内の三次元点群データのうちの一つである、
　ことを特徴とする位置算出方法。
［項目３］
　項目１または２に記載の位置算出方法であって、
　前記点データは、飛行体において記憶されている、
　ことを特徴とする位置算出方法。
［項目４］
　項目１または２に記載の位置算出方法であって、
　前記点データは、ユーザ端末において記憶されている、
　ことを特徴とする位置算出方法。
［項目５］
　項目１ないし４に記載の位置算出方法であって、
　前記撮影部は、ユーザ端末に備えられている、
　ことを特徴とする位置算出方法。
［項目６］
　項目１ないし４に記載の位置算出方法であって、
　前記撮影部は、飛行体に備えられている、
　ことを特徴とする位置算出方法。
［項目７］
　ユーザ端末の画面上で指定された位置を算出する情報処理システムであって、
　前記情報処理システムは、撮影部と、指定位置情報取得部と、撮影状態情報受信部と、位置算出部を備え、
　前記指定位置情報取得部は、
　前記ユーザ端末の画面上で、前記撮影部により取得された撮影画像上のユーザが指定した所定の位置に対応する前記ユーザ端末の画面上の二次元座標位置を取得し、
　前記撮影状態情報受信部は、
　前記所定の位置を指定した際の、少なくとも撮影画角、撮影角度、撮影方位、ユーザ端末位置情報を含む撮影状態情報を受信し、
　前記位置算出部は、
　前記二次元座標位置と前記撮影状態情報に基づき、前記ユーザ端末位置情報が示す三次元座標位置から、前記ユーザ端末の画面上の二次元座標位置に対応する、三次元座標位置への角度及び方位を算出し、
　少なくとも前記ユーザ端末位置情報が示す三次元座標位置、及び、前記算出された角度及び方位を仮想空間内の三次元座標に対応付け、前記ユーザ端末位置情報が示す三次元座標位置から、前記算出された角度及び方位へ仮想的な直線を延ばした際に、前記直線と最初に接触した点データが示す三次元座標位置を、前記ユーザが指定した位置に対応する、前記仮想空間内の仮想指定位置として算出し、
　前記仮想空間上の三次元座標と、現実空間上の三次元座標との対応関係に基づき、前記仮想指定位置から現実空間上におけるユーザが指定した指定位置の三次元座標位置を算出する、
　ことを特徴とする情報処理システム。
＜実施の形態の詳細＞
　以下、本発明の実施の形態による位置算出方法及び飛行体制御方法、情報処理システムについての実施の形態を説明する。添付図面において、同一または類似の要素には同一または類似の参照符号及び名称が付され、各実施形態の説明において同一または類似の要素に関する重複する説明は省略することがある。また、各実施形態で示される特徴は、互いに矛盾しない限り他の実施形態にも適用可能である。
＜構成＞
　図１に示されるように、本実施の形態における管理システムは、管理サーバ１と、一以上のユーザ端末２と、一以上の飛行体４と、一以上の飛行体格納装置５とを有している。管理サーバ１と、ユーザ端末２と、飛行体４と、飛行体格納装置５は、ネットワークを介して互いに通信可能に接続されている。なお、図示された構成は一例であり、これに限らず、例えば、飛行体格納装置５を有さずに、ユーザにより持ち運びされる構成などでもよい。
＜管理サーバ１＞
　図２は、管理サーバ１のハードウェア構成を示す図である。なお、図示された構成は一例であり、これ以外の構成を有していてもよい。
　図示されるように、管理サーバ１は、複数のユーザ端末２と、飛行体４、飛行体格納装置５と接続され本システムの一部を構成する。管理サーバ１は、例えばワークステーションやパーソナルコンピュータのような汎用コンピュータとしてもよいし、或いはクラウド・コンピューティングによって論理的に実現されてもよい。
　管理サーバ１は、少なくとも、プロセッサ１０、メモリ１１、ストレージ１２、送受信部１３、入出力部１４等を備え、これらはバス１５を通じて相互に電気的に接続される。
　プロセッサ１０は、管理サーバ１全体の動作を制御し、各要素間におけるデータの送受信の制御、及びアプリケーションの実行及び認証処理に必要な情報処理等を行う演算装置である。例えばプロセッサ１０はＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）および／またはＧＰＵ（Ｇｒａｐｈｉｃｓ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）であり、ストレージ１２に格納されメモリ１１に展開された本システムのためのプログラム等を実行して各情報処理を実施する。
　メモリ１１は、ＤＲＡＭ（Ｄｙｎａｍｉｃ　Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）等の揮発性記憶装置で構成される主記憶と、フラッシュメモリやＨＤＤ（Ｈａｒｄ　Ｄｉｓｃ　Ｄｒｉｖｅ）等の不揮発性記憶装置で構成される補助記憶と、を含む。メモリ１１は、プロセッサ１０のワークエリア等として使用され、また、管理サーバ１の起動時に実行されるＢＩＯＳ（Ｂａｓｉｃ　Ｉｎｐｕｔ　／　Ｏｕｔｐｕｔ　Ｓｙｓｔｅｍ）、及び各種設定情報等を格納する。
　ストレージ１２は、アプリケーション・プログラム等の各種プログラムを格納する。各処理に用いられるデータを格納したデータベースがストレージ１２に構築されていてもよい。
　送受信部１３は、管理サーバ１をネットワークおよびブロックチェーンネットワークに接続する。なお、送受信部１３は、Ｂｌｕｅｔｏｏｔｈ（登録商標）及びＢＬＥ（Ｂｌｕｅｔｏｏｔｈ　Ｌｏｗ　Ｅｎｅｒｇｙ）の近距離通信インターフェースを備えていてもよい。
　入出力部１４は、キーボード・マウス類等の情報入力機器、及びディスプレイ等の出力機器である。
　バス１５は、上記各要素に共通に接続され、例えば、アドレス信号、データ信号及び各種制御信号を伝達する。
＜ユーザ端末２＞
　図３に示されるユーザ端末２もまた、プロセッサ２０、メモリ２１、ストレージ２２、送受信部２３、入出力部２４、撮影部２６、撮影状態情報取得部２７等を備え、これらはバス２５を通じて相互に電気的に接続される。各要素の機能は、上述した管理サーバ１と同様に構成することが可能であることから、同様の構成の詳細な説明は省略する。
　撮影部２６は、例えば可視光カメラや赤外線カメラであり、撮影画像（例えば、静止画像、動画像等）を取得する。
＜飛行体４＞
　図４は、飛行体４のハードウェア構成を示すブロック図である。フライトコントローラ４１は、プログラマブルプロセッサ（例えば、中央演算処理装置（ＣＰＵ））などの１つ以上のプロセッサを有することができる。
　また、フライトコントローラ４１は、メモリ４１１を有しており、当該メモリにアクセス可能である。メモリ４１１は、１つ以上のステップを行うためにフライトコントローラが実行可能であるロジック、コード、および／またはプログラム命令を記憶している。また、フライトコントローラ４１は、慣性センサ（加速度センサ、ジャイロセンサ）、ＧＰＳセンサ、近接センサ（例えば、ライダー）等のセンサ類４１２を含みうる。
　メモリ４１１は、例えば、ＳＤカードやランダムアクセスメモリ（ＲＡＭ）などの分離可能な媒体または外部の記憶装置を含んでいてもよい。撮影部／センサ類４２から取得したデータは、メモリ４１１に直接に伝達されかつ記憶されてもよい。例えば、撮影部等で撮影した静止画・動画データが内蔵メモリ又は外部メモリに記録されてもよいが、これに限らず、撮影部／センサ４２または内蔵メモリからネットワークＮＷを介して、少なくとも管理サーバ１やユーザ端末２、飛行体格納装置５のいずれかに記録されてもよい。撮影部４２は飛行体４にジンバル４３を介して設置される。
　フライトコントローラ４１は、飛行体の状態を制御するように構成された図示しない制御モジュールを含んでいる。例えば、制御モジュールは、６自由度（並進運動ｘ、ｙ及びｚ、並びに回転運動θｘ、θｙ及びθｚ）を有する飛行体の空間的配置、速度、および／または加速度を調整するために、ＥＳＣ４４（Ｅｌｅｃｔｒｉｃ　Ｓｐｅｅｄ　Ｃｏｎｔｒｏｌｌｅｒ）を経由して飛行体の推進機構（モータ４５等）を制御する。バッテリー４８から給電されるモータ４５によりプロペラ４６が回転することで飛行体の揚力を生じさせる。制御モジュールは、搭載部、センサ類の状態のうちの１つ以上を制御することができる。
　フライトコントローラ４１は、１つ以上の外部のデバイス（例えば、送受信機（プロポ）４９、端末、表示装置、または他の遠隔の制御器）からのデータを送信および／または受け取るように構成された送受信部４７と通信可能である。送受信機４９は、有線通信または無線通信などの任意の適当な通信手段を使用することができる。
　例えば、送受信部４７は、ローカルエリアネットワーク（ＬＡＮ）、ワイドエリアネットワーク（ＷＡＮ）、赤外線、無線、ＷｉＦｉ、ポイントツーポイント（Ｐ２Ｐ）ネットワーク、電気通信ネットワーク、クラウド通信などのうちの１つ以上を利用することができる。
　送受信部４７は、センサ類４２で取得したデータ、フライトコントローラ４１が生成した処理結果、所定の制御データ、端末または遠隔の制御器からのユーザコマンドなどのうちの１つ以上を送信および／または受け取ることができる。
　本実施の形態によるセンサ類４２は、慣性センサ（加速度センサ、ジャイロセンサ）、ＧＰＳセンサ、近接センサ（例えば、ライダー）、またはビジョン／イメージセンサ（例えば、カメラ）を含み得る。
＜各構成に実装される機能＞
　図５は、本実施の形態における、管理サーバ１、ユーザ端末２、飛行体４に実装される機能を例示したブロック図である。
　まず、管理サーバ１に実装される機能として、プロセッサ１０は、フライトミッション生成部１１０を備えており、ストレージ１２は、飛行経路情報記憶部１２２、フライトログ記憶部１２４を備えており、送受信部１３は、通信部１３０を備えている。また、フライトミッション生成部１１０は、飛行経路生成部１１２を含む。なお、ストレージ１２は、フライトミッションを実行するために必要な情報を記憶する記憶部をさらに有していてもよく、例えば、飛行条件に関する情報（例えば、飛行速度やウェイポイント間隔など）や、後述の仮想空間情報（例えば、三次元点群データなど）を記憶する記憶部（不図示）をそれぞれ有していてもよい。
　フライトミッション生成部１１０は、フライトミッションを生成する。フライトミッションは、少なくともウェイポイント情報（例えば緯度経度情報及び飛行高度情報を含む）を含む飛行経路などの情報である。飛行経路の設定は、例えば、後述のように、対象物の三次元点群モデル情報と、機体の現在位置と、フライトミッション開始位置、対象物からの距離などを取得して飛行経路生成部１１２により自動でウェイポイントを算出して設定したりしてもよい。生成された飛行経路に関する情報は、飛行経路情報記憶部（不図示）に記憶されていてもよい。また、フライトミッションは、例えばユーザが指定した作業（例えば、撮像、点検、警備など）を含んでいてもよく、フライトミッション開始位置から上記作業を開始するように飛行体を制御してもよい。各フライトミッションを実行するための詳細な設定は、予め管理サーバ１等に登録されていてもよい。
　なお、飛行経路は、例えば、飛行体格納装置５を有さずに、ユーザ付近にホバリングして待機している位置や、ユーザにより機体を持ち運びされた位置を現在位置として飛行開始位置としたり、飛行終了位置においてユーザが機体を回収したりする構成などでもよいし、管理サーバ１により管理された飛行体格納装置５の情報（例えば、位置情報や格納状態情報、格納機体情報など）を基に、飛行開始位置、途中経由地または飛行終了位置として選択された飛行体格納装置５の位置も含めた飛行経路として生成される構成でもよい。
　飛行経路情報記憶部１２２は、フライトミッション生成部１１０で生成された飛行体の飛行経路情報を記憶している。フライトログ記憶部１２４は、例えば、フライトミッションにて設定された飛行経路上にて、飛行体４により取得された情報（例えば、離陸から着陸までに経由した位置の情報、静止画像、動画像、音声その他の情報）を記憶している。
　通信部１３０は、ユーザ端末２や、飛行体４、飛行体格納装置５と通信を行う。通信部１３０は、ユーザ端末２から、フライト依頼を受け付ける受付部としても機能する。
　次に、ユーザ端末２に実装される機能として、プロセッサ２０は、撮影状態情報取得部２２０、指定位置情報取得部２４０を備えており、ストレージ２２は、撮影状態情報記憶部２２２を備えており、送受信部２３は、通信部２３０を備えている。また、ストレージ２２は、指定位置情報取得部２４０で取得した指定位置情報を記憶する記憶部（不図示）をさらに有していてもよい。
　撮影状態情報取得部２２０は、例えばＧＰＳやジャイロセンサ、気圧センサ、温度センサなどのセンサ類、端末の撮影部２６に関する情報（例えば、撮影画角情報など）を記憶した記憶部（メモリ２１やストレージ２２の一部であってもよい）などから、撮影画像を取得した際のユーザ端末の撮影画角情報や撮影角度情報、撮影方位情報、ユーザ端末位置情報（例えば、緯度経度情報と高度情報など）などを撮影状態情報として取得する。なお、ユーザ端末位置情報に含まれる高度情報は、上述の気圧センサや温度センサに基づき算出された高度情報や、ユーザに設定させた高度情報でもよいが、例えば、ユーザに設定させた身長情報、または、ユーザの性別に応じた平均的な身長情報から、想定されるユーザ端末位置に応じて所定の高さだけ上下方向にオフセットした値を高度情報としてもよい。
　指定位置情報取得部２４０は、ユーザが指定した画面上の位置（例えば、所定の位置を原点として、画面の幅方向をｘ軸、画面の高さ方向をｙ軸として設定されたｘｙ座標位置）を指定位置情報として取得する。ユーザが画面上の位置を指定する方法は、例えば、タッチディスプレイを指でタッチして指定したり、ポインタなどのオブジェクトを操作して指定したり、ユーザ端末２を動かして指定したい位置に画面の特定の位置（例えば、中心）を合わせて決定動作を実行することで指定したりすることにより実現できる。
　撮影状態情報記憶部２２２は、図６に示すように、撮影画角情報記憶部２２２１、撮影角度情報記憶部２２２２、撮影方位情報記憶部２２２３、ユーザ端末位置情報記憶部２２２４を少なくとも含み、対象とする撮影状態情報をそれぞれ記憶する。
　通信部２３０は、管理サーバ１や、飛行体４、飛行体格納装置５と通信を行う。
　次に、飛行体４に実装される機能として、プロセッサ４１３は、撮影状態情報受信部４１５と、位置算出部４１７を備えており、メモリ４１１は、仮想空間情報記憶部４２１を備えており、送受信部４７は、通信部４７０を備えている。また、メモリ４１１は、撮影状態情報受信部４１５で受信した撮影状態情報を記憶する記憶部（不図示）をさらに有していてもよい。
　撮影状態情報受信部４１５は、ユーザ端末２の撮影状態情報取得部２２０で取得した撮影状態情報を通信部４７０を介して受信する。
　位置算出部４１７は、少なくともユーザ端末２の撮影状態情報と指定位置情報、仮想空間情報４２１に記憶される仮想空間情報（例えば三次元点群データ）、飛行体４の現在位置情報（例えばＧＰＳから取得する）に基づき、ユーザ端末２の画面上でユーザが指定した指定位置が、仮想空間または現実空間の何れの位置であるかを算出する。詳細な算出方法については、後述する。
　仮想空間情報記憶部４２１は、例えばユーザ端末２から撮影可能な範囲の三次元点群データを含む仮想空間情報を記憶する。三次元点群データは、例えばＬＩＤＡＲ（Ｌｉｇｈｔ　Ｄｅｔｅｃｔｉｏｎ　ａｎｄ　Ｒａｎｇｉｎｇ）やＤｅｐｔｈを測定できる撮影部またはセンサにより取得した仮想空間内の三次元座標データであり、事前に飛行して取得したり、ネットワークを介して、例えば管理サーバ１などから必要な範囲のデータを取得してきてもよい。また、事前に飛行体４の現実空間の三次元座標と、仮想空間内の三次元座標の対応付けを行い、これを仮想空間情報記憶部４２１に記憶しておいてもよい。
　なお、本実施の形態においては、飛行体４上のプロセッサ４１３の機能として、位置算出部４１７を備えている例を基に説明しているが、これに限らず、例えばユーザ端末２のプロセッサ２０や管理サーバ１のプロセッサ１０、飛行体格納装置５のプロセッサなどの機能として備え、位置算出に必要な情報を該当プロセッサに読み出して算出するようにしてもよい。これにより、位置算出のための処理負荷を所望のプロセッサに担わせることができる。
　また、ユーザ端末２の撮影部２６の撮影画像を基に位置算出及び飛行体を制御しているが、これに代えて、飛行体４の撮影部の撮影画像を基に位置算出及び飛行体を制御するようにしてもよい。この際、ユーザ端末２の撮影部２６による撮影画像と同様に、飛行体４の撮影部の撮影画像をユーザ端末２の画面上に表示させることで位置算出を実現してもよい。ユーザ端末２の撮影部２６による撮影画像を基にした場合には、ユーザが撮影環境を目視しながら、そこにユーザ端末２の撮影部２６を向けて、客観的かつ直感的に位置を指定することで飛行体４を制御することが可能であるが、飛行体４の撮影部の撮影画像を基にした場合には、あたかもユーザが直接動いているかのように、主観的かつ直感的に位置を指定することで飛行体の制御することが可能となる。
＜位置算出方法の一例＞
　図７－１０を参照して、本実施形態にかかる位置算出方法について説明する。図７には、本実施形態にかかる位置算出方法のフローチャートが例示されている。図８－１０は、本発明の実施の形態にかかる位置算出方法に関する説明の一例を示す図である。また、一例として、飛行体４上のプロセッサ４１３の機能として、位置算出部４１７を備え、ユーザ端末２の撮影部２６の撮影画像を基に位置算出を行う構成により説明する。
　まず、図８に示されるように、ユーザ端末２の画面上で、撮影部２６により取得された撮影画像Ｓ上の所定の位置をポインタＰ等で指定する（ＳＱ１０１）。
　次に、飛行体４は、撮影状態情報受信部４１５により、ＳＱ１０１においてユーザ端末２の画面上で指定した所定の位置（画面上のｘｙ座標位置）及び所定の位置を指定した際の撮影状態情報（撮影画角、撮影角度、撮影方位、ユーザ端末位置情報）を取得する（ＳＱ１０２）。
　次に、飛行体４は、位置算出部４１７により、上述のｘｙ座標位置と撮影状態情報に基づき、ユーザ端末の位置（三次元座標）から、画面上で指定した所定の位置（画面上のｘｙ座標位置）に対応する、少なくとも仮想空間内での位置（三次元座標）への角度及び方位を算出する（ＳＱ１０３）。
　より具体的には、図９を用いてｙ軸方向の角度の算出方法について例示する。
　まず、撮影部の中心からのずれ幅ｄｙは、画面上のｙ座標の原点を上端とした場合、画面上のｙ軸方向の指定位置ｙから、解像度で決まる高さｄｈの半値を引いた値の絶対値であり、下記数１の関係が成り立つ。
Figure JPOXMLDOC01-appb-M000001
　次に、撮影部の向きからのずれ角度αhを基に、下記数２の関係が成り立つ。
Figure JPOXMLDOC01-appb-M000002
　次に、画角ＦＯＶｈの半値を基に、下記数３の関係が成り立つ。
Figure JPOXMLDOC01-appb-M000003
　ここで、例えば、数２に記載の数式に数３に記載の数式を距離distanceを基に代入し、撮影部の向きからのずれ角度αhについて整理すると、下記数４の関係が成り立つ。
Figure JPOXMLDOC01-appb-M000004
　なお、この時、撮影部の向きからのずれ角度αhは、下記数５の関係も満たすものである。
Figure JPOXMLDOC01-appb-M000005
　最後に、取得可能な値を上記数４に代入していくことで、ｙ軸方向における撮影部の向きからのずれ角度αhが算出される。
　また、ｘ軸方向の方位も、これと同様の算出方法により、ｘ軸方向における撮影部の向きからのずれ方位αｗが算出される。
　再度図７のフローチャートに戻り、位置算出方法について説明する。次に、飛行体４は、位置算出部４１７により、ユーザ端末２の位置Ｐｓ及びＳＱ１０３で算出したずれ角度αh並びにずれ方位αｗ、飛行体４の位置Ｐｄを仮想空間内の三次元座標に対応付け、ユーザ端末２の位置Ｐｓからずれ角度αh並びにずれ方位αｗへ直線を延ばした際に、最初に接触した点データＤ（または点群モデルＭ）をユーザが指定した位置（または対象物）として算出する（ＳＱ１０４）。
　より具体的には、図１０を用いてユーザが指定した位置の算出方法について例示する。説明を簡略化するために、まずはｘ軸方向において説明する。
　図１０の左図には、ユーザ端末２の位置Ｐｓと上述の数式等により算出したずれ方位αｗ、画像上で指定した対象物及び指定した位置との関係が示されている。そして、これらの値及び飛行体４の位置Ｐｄは、飛行体４の位置算出部４１７により、例えば三次元点群データがマッピングされた仮想空間内に適用され、図１０の右図のような位置関係となる。
　ここで、ユーザ端末２の位置Ｐｓからずれ方位αｗの方向に仮想的な直線を延ばし、最初に接触した点データＤの位置が、ユーザが指定した位置として算出される。同様に、ずれ角度αhを用いてｙ軸方向においても同様のことが並行して行われているため、結果として、ユーザが指定した位置に対応する、仮想空間上における点データの三次元座標位置（仮想指定位置）が算出される。
　最後に、飛行体４の位置Ｐｄに基づき、仮想空間上の三次元座標と、現実空間上の三次元座標との対応関係から、現実空間上におけるユーザが指定した位置を算出する（ＳＱ１０５）。なお、本実施の形態においては、飛行体４が仮想空間情報を有しているために飛行体４の位置Ｐｄに基づき現実空間上の位置を算出しているが、ユーザ端末２が仮想空間情報を有している場合には、必ずしも飛行体４の位置Ｐｄに関する情報は必要ではなく、ユーザ端末２の位置Ｐｓのみで足り得る。
　これにより、ユーザがユーザ端末２の画面上で指定した位置を、現実空間上の三次元座標位置として算出することが可能となり、これを用いて様々な飛行体の制御が簡易に可能となる。
＜飛行体の制御例１－１＞
　例えば、上述のユーザ端末２の画面上で指定された位置の現実空間上の三次元座標を用いて、その位置へ飛行体４を飛行させるように制御してもよい。当該制御は、飛行体４のプロセッサ４１３やユーザ端末２のプロセッサ２０により実行されてもよいし、管理サーバ１のプロセッサ１０により実行されてもよい。これにより、三次元点群データを取得済みの対象物の近くであれば、ユーザ端末２の画面上で指定をするだけで、容易にその位置まで飛行体４を飛行させることが可能になる。
＜飛行体の制御例１－２＞
　上述の飛行体の制御例１－１では、ユーザが指定した位置まで飛行体４を飛行させていたが、それに加えて、その位置を含む対象物の形状を判別し、ユーザが指定した位置（及びそこから所定距離オフセットした位置）から点検等のフライトミッションを実行するようにしてもよい。対象物の形状は、三次元点群データを参照してもよいし、飛行体４に搭載のＬＩＤＡＲ等により対象物の三次元点群データをその場で取得してもよい。そして、例えばユーザが指定した位置をフライトミッション開始位置として、対象物の三次元点群データを基に飛行経路を決定し、フライトミッションを実行するようにしてもよい。これらの処理は、例えば管理サーバ１においても、飛行体４が記憶している仮想空間情報を記憶しておき、飛行経路生成部１１２において当該飛行経路を生成するようにしてもよい。また、フライトミッションの指定は、ユーザが位置を指定するまでにいずれかのフライトミッションが指定されていればよい。
＜飛行体の制御例１－３＞
　上述の飛行体の制御例１－１、１－２では、ユーザが指定した位置として点データの三次元座標を用いているが、これに代えて、当該点データを含む対象物を判定し、当該対象物の形状を三次元点群データから判別し、当該対象物に対するフライトミッションのための飛行経路を予め生成するようにしてもよい。これにより、ユーザは飛行体を制御する位置の指定を厳密に行わずとも対象物へのフライトミッションを実行することができる。
＜飛行体の制御例１－４＞
　例えば、ユーザが指定した位置へ飛行体４を飛行させた後、飛行体４と通信可能な装置と通信を行ってもよい。例えば、当該装置は、飛行体格納装置５であり、飛行体４において取得した情報を飛行体格納装置５を介して管理サーバ１等に送信したり、飛行体格納装置５に格納されるための通信処理を行ったり、飛行体格納装置５内の飛行体と交代または共同してフライトミッションを行うための通信処理を行うなどしてもよい。これらいずれの動作を行うかは、ユーザがユーザ端末２の画面上で位置を指定する際に、ユーザ端末２において動作も指定するように構成してもよい。
＜飛行体の制御例２－１＞　例えば、上述のように、ユーザ端末２の画面上で指定された位置の現実空間上の三次元座標を算出する際に、仮想空間上でユーザ端末位置Ｐｓから仮想的な直線を延ばした際に、何れの三次元点群データにも接触しない場合、または、所定距離延ばしても三次元点群データに接触しない場合には、飛行体４は所定のフェイルセーフ動作を行うようにしてもよい。当該フェイルセーフ動作としては、例えばその場または最後にユーザが指定した位置やユーザ端末２の位置まで飛行してホバリングを行ったり、着陸を行ったりしてもよい。また、ユーザ端末２へのアラート表示（例えば、三次元点群データに接触しない旨、位置算出ができない旨の表示）を行ってもよい。
＜飛行体の制御例２－２＞
　例えば、上述のように、ユーザが指定した位置まで飛行体４を飛行制御している際に、飛行体４に搭載の撮影部またはセンサにより障害物を判定した時には、所定のフェイルセーフ動作（その場で停止してホバリングを行ったり、着陸を行ったりしてもよいし、直前に指定された位置やユーザ端末２の位置まで戻ってもよいし、三次元点群データで障害物の形状が判別可能な場合には、障害物を避けるように飛行を続けてもよい）やアラート表示を実行するようにしてもよい。また、例えば図１１に記載されるような位置関係である場合には、ユーザが指定した位置にある対象物自体が障害物となり得るため、同様に所定のフェイルセーフ動作（特に、飛行経路を変更する場合は、三次元点群データを利用して、対象物の周りを周回するルートや上空側を超えるルートを生成するなど）やアラート表示を実行するようにしてもよい。さらに、例えば、飛行体４の搭載の撮影部で色情報を判定し、予め登録された色の割合が高い場合（例えば、芝生や木の葉っぱの方向へ進んでしまった場合を想定して緑色を登録したり、地面等の土の色である茶色を登録したりしてもよい）にも、所定のフェイルセーフ動作やアラート表示を行うようにしてもよい。
＜飛行体の制御例２－３＞
　上述の飛行体４の制御は、主にユーザが指定した位置まで飛行体４を直進させることを想定しているが、例えばユーザが位置を指定した際に、予め取得した三次元点群データによって、ユーザが指定した位置へ直進した場合に、指定位置よりも前に障害物に衝突することが判別可能な場合には、ユーザが位置を指定した段階で、障害物の形状を三次元点群データより判別し、それを避ける飛行経路を生成してもよい。また、アラート表示（例えば、障害物に衝突してしまう旨や飛行経路を変更した旨など）してもよい。
＜飛行体の制御例３－１＞
　上述の実施の形態では、一例として、ユーザ端末２の撮影部２６の撮影画像を基に位置算出を行う構成を説明していたが、これに代えて、飛行体４の撮影部の撮影画像を基に位置算出を行うようにしてもよい。この構成は、壁を含む物体を何れの方向でも指定可能な屋内（例えば、居室内や倉庫内、工場内、ビル内など）において特に効果を発揮し、飛行体４の撮影部による視点から主観的かつ直感的に、飛行体４の進行方向を指定することが可能である。なお、例えば、ユーザが指定した位置まで飛行している途中で、飛行体４の撮影部の方向を変えて、ユーザが位置を再指定することで、飛行体４の進行方向を変更するように制御してもよい。
　このように、簡易に現場で飛行体の制御が可能な位置算出方法及び飛行体制御方法、情報処理システムを提供することが可能となる。
　上述した実施の形態は、本発明の理解を容易にするための例示に過ぎず、本発明を限定して解釈するためのものではない。本発明は、その趣旨を逸脱することなく、変更、改良することができると共に、本発明にはその均等物が含まれることは言うまでもない。
　１　　　　管理サーバ
　２　　　　ユーザ端末
　４　　　　飛行体
 

 

Claims (7)

  1. 　ユーザ端末の画面上で指定された位置の算出方法であって、
    　前記ユーザ端末の画面上で、撮影部により取得された撮影画像上の所定の位置を指定するステップと、
    　前記所定の位置に対応する前記ユーザ端末の画面上の二次元座標位置、及び、前記所定の位置を指定した際の、少なくとも撮影画角、撮影角度、撮影方位、ユーザ端末位置情報を含む撮影状態情報を受信するステップと、
    　前記二次元座標位置と前記撮影状態情報に基づき、前記ユーザ端末位置情報が示す三次元座標位置から、前記ユーザ端末の画面上の二次元座標位置に対応する、三次元座標位置への角度及び方位を算出するステップと、
    　少なくとも前記ユーザ端末位置情報が示す三次元座標位置、及び、前記算出された角度及び方位を仮想空間内の三次元座標に対応付け、前記ユーザ端末位置情報が示す三次元座標位置から、前記算出された角度及び方位へ仮想的な直線を延ばした際に、前記直線と最初に接触した点データが示す三次元座標位置を、前記ユーザが指定した位置に対応する、前記仮想空間内の仮想指定位置として算出するステップと、
    　前記仮想空間上の三次元座標と、現実空間上の三次元座標との対応関係に基づき、前記仮想指定位置から現実空間上におけるユーザが指定した指定位置の三次元座標位置を算出するステップと、を含む、
    　ことを特徴とする位置算出方法。
  2. 　請求項１に記載の位置算出方法であって、
    　前記点データは、仮想空間内の三次元点群データのうちの一つである、
    　ことを特徴とする位置算出方法。
  3. 　請求項１または２に記載の位置算出方法であって、
    　前記点データは、飛行体において記憶されている、
    　ことを特徴とする位置算出方法。
  4. 　請求項１または２に記載の位置算出方法であって、
    　前記点データは、ユーザ端末において記憶されている、
    　ことを特徴とする位置算出方法。
  5. 　請求項１ないし４に記載の位置算出方法であって、
    　前記撮影部は、ユーザ端末に備えられている、
    　ことを特徴とする位置算出方法。
  6. 　請求項１ないし４に記載の位置算出方法であって、
    　前記撮影部は、飛行体に備えられている、
    　ことを特徴とする位置算出方法。
  7. 　ユーザ端末の画面上で指定された位置を算出する情報処理システムであって、
    　前記情報処理システムは、撮影部と、指定位置情報取得部と、撮影状態情報受信部と、位置算出部を備え、
    　前記指定位置情報取得部は、
    　前記ユーザ端末の画面上で、前記撮影部により取得された撮影画像上のユーザが指定した所定の位置に対応する前記ユーザ端末の画面上の二次元座標位置を取得し、
    　前記撮影状態情報受信部は、
    　前記所定の位置を指定した際の、少なくとも撮影画角、撮影角度、撮影方位、ユーザ端末位置情報を含む撮影状態情報を受信し、
    　前記位置算出部は、
    　前記二次元座標位置と前記撮影状態情報に基づき、前記ユーザ端末位置情報が示す三次元座標位置から、前記ユーザ端末の画面上の二次元座標位置に対応する、三次元座標位置への角度及び方位を算出し、
    　少なくとも前記ユーザ端末位置情報が示す三次元座標位置、及び、前記算出された角度及び方位を仮想空間内の三次元座標に対応付け、前記ユーザ端末位置情報が示す三次元座標位置から、前記算出された角度及び方位へ仮想的な直線を延ばした際に、前記直線と最初に接触した点データが示す三次元座標位置を、前記ユーザが指定した位置に対応する、前記仮想空間内の仮想指定位置として算出し、
    　前記仮想空間上の三次元座標と、現実空間上の三次元座標との対応関係に基づき、前記仮想指定位置から現実空間上におけるユーザが指定した指定位置の三次元座標位置を算出する、
    　ことを特徴とする情報処理システム。
     

     
PCT/JP2020/015433 2020-04-03 2020-04-03 位置算出方法及び情報処理システム WO2021199449A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
PCT/JP2020/015433 WO2021199449A1 (ja) 2020-04-03 2020-04-03 位置算出方法及び情報処理システム
JP2020545756A JP6829513B1 (ja) 2020-04-03 2020-04-03 位置算出方法及び情報処理システム
JP2021001173A JP2021162572A (ja) 2020-04-03 2021-01-07 位置算出方法及び情報処理システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2020/015433 WO2021199449A1 (ja) 2020-04-03 2020-04-03 位置算出方法及び情報処理システム

Publications (1)

Publication Number Publication Date
WO2021199449A1 true WO2021199449A1 (ja) 2021-10-07

Family

ID=74529697

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/015433 WO2021199449A1 (ja) 2020-04-03 2020-04-03 位置算出方法及び情報処理システム

Country Status (2)

Country Link
JP (2) JP6829513B1 (ja)
WO (1) WO2021199449A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7170369B1 (ja) * 2022-04-14 2022-11-14 株式会社センシンロボティクス 情報処理システム及び移動体、情報処理方法、プログラム
CN117054047A (zh) * 2023-10-11 2023-11-14 泰州市银杏舞台机械工程有限公司 一种基于检测灯内板偏转的舞台灯检测方法及***

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7307927B2 (ja) * 2021-11-11 2023-07-13 株式会社TechFirst Leaders 無人機の制御システム
JP7233515B1 (ja) 2021-12-24 2023-03-06 楽天グループ株式会社 情報処理システム、解放場所設定方法、及びプログラム

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018009910A (ja) * 2016-07-15 2018-01-18 株式会社Ｓｕｂａｒｕ 飛行経路設定装置、飛行経路設定方法及び飛行経路設定プログラム
JP2018165930A (ja) * 2017-03-28 2018-10-25 株式会社ゼンリンデータコム ドローンナビゲーション装置、ドローンナビゲーション方法及びドローンナビゲーションプログラム
JP2019032234A (ja) * 2017-08-08 2019-02-28 株式会社プロドローン 表示装置
US20190179346A1 (en) * 2016-08-05 2019-06-13 SZ DJI Technology Co., Ltd. System and method for positioning a movable object

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018009910A (ja) * 2016-07-15 2018-01-18 株式会社Ｓｕｂａｒｕ 飛行経路設定装置、飛行経路設定方法及び飛行経路設定プログラム
US20190179346A1 (en) * 2016-08-05 2019-06-13 SZ DJI Technology Co., Ltd. System and method for positioning a movable object
JP2018165930A (ja) * 2017-03-28 2018-10-25 株式会社ゼンリンデータコム ドローンナビゲーション装置、ドローンナビゲーション方法及びドローンナビゲーションプログラム
JP2019032234A (ja) * 2017-08-08 2019-02-28 株式会社プロドローン 表示装置

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7170369B1 (ja) * 2022-04-14 2022-11-14 株式会社センシンロボティクス 情報処理システム及び移動体、情報処理方法、プログラム
WO2023199477A1 (ja) * 2022-04-14 2023-10-19 株式会社センシンロボティクス 情報処理システム及び移動体、情報処理方法、プログラム
CN117054047A (zh) * 2023-10-11 2023-11-14 泰州市银杏舞台机械工程有限公司 一种基于检测灯内板偏转的舞台灯检测方法及***
CN117054047B (zh) * 2023-10-11 2023-12-22 泰州市银杏舞台机械工程有限公司 一种基于检测灯内板偏转的舞台灯检测方法及***

Also Published As

Publication number Publication date
JP6829513B1 (ja) 2021-02-10
JPWO2021199449A1 (ja) 2021-10-07
JP2021162572A (ja) 2021-10-11

Similar Documents

Publication Publication Date Title
WO2021199449A1 (ja) 位置算出方法及び情報処理システム
US20200026720A1 (en) Construction and update of elevation maps
CN107209514B (zh) 传感器数据的选择性处理
WO2017206179A1 (en) Simple multi-sensor calibration
US20210208608A1 (en) Control method, control apparatus, control terminal for unmanned aerial vehicle
JP2021168005A (ja) 表示制御方法、表示制御装置、プログラム、及び記録媒体
WO2021251441A1 (ja) 方法、システムおよびプログラム
JP6661187B1 (ja) 飛行体の管理サーバ及び管理システム
JP6730763B1 (ja) 飛行体の飛行経路作成方法及び管理サーバ
JP7004374B1 (ja) 移動体の移動経路生成方法及びプログラム、管理サーバ、管理システム
JP6730764B1 (ja) 飛行体の飛行経路表示方法及び情報処理装置
WO2020042186A1 (zh) 可移动平台的控制方法、可移动平台、终端设备和***
JP6991525B1 (ja) ウェイポイント高さ座標設定方法及び管理サーバ、情報処理システム、プログラム
JP6684012B1 (ja) 情報処理装置および情報処理方法
JP2020012774A (ja) 建造物の測定方法
JP6818379B1 (ja) 飛行体の飛行経路作成方法及び管理サーバ
JP2021100234A (ja) 飛行体の撮像方法及び情報処理装置
JP2019082837A (ja) 情報処理装置、飛行制御指示方法、プログラム、及び記録媒体
JPWO2021124579A1 (ja) 飛行体の撮像方法及び情報処理装置
JP6934646B1 (ja) 飛行制限領域設定方法、ウェイポイント設定方法及び管理サーバ、情報処理システム、プログラム
JP6899108B1 (ja) 計器指示値読取方法及び管理サーバ、計器指示値読取システム、プログラム
JP7072311B1 (ja) 移動体の移動経路生成方法及びプログラム、管理サーバ、管理システム
JP7228311B1 (ja) 情報処理システム、情報処理方法、プログラム、サーバ
WO2022113482A1 (ja) 情報処理装置、方法およびプログラム
JP6978026B1 (ja) ウェイポイント設定方法及びウェイポイント修正方法、管理サーバ、情報処理システム、プログラム

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 2020545756

Country of ref document: JP

Kind code of ref document: A

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20929101

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20929101

Country of ref document: EP

Kind code of ref document: A1