WO2018146803A1 - 位置処理装置、飛行体、位置処理システム、飛行システム、位置処理方法、飛行制御方法、プログラム、及び記録媒体 - Google Patents

位置処理装置、飛行体、位置処理システム、飛行システム、位置処理方法、飛行制御方法、プログラム、及び記録媒体 Download PDF

Info

Publication number
WO2018146803A1
WO2018146803A1 PCT/JP2017/005016 JP2017005016W WO2018146803A1 WO 2018146803 A1 WO2018146803 A1 WO 2018146803A1 JP 2017005016 W JP2017005016 W JP 2017005016W WO 2018146803 A1 WO2018146803 A1 WO 2018146803A1
Authority
WO
WIPO (PCT)
Prior art keywords
flight
position information
relative position
information
flying
Prior art date
Application number
PCT/JP2017/005016
Other languages
English (en)
French (fr)
Inventor
川口 貴義
Original Assignee
エスゼット ディージェイアイ テクノロジー カンパニー リミテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by エスゼット ディージェイアイ テクノロジー カンパニー リミテッド filed Critical エスゼット ディージェイアイ テクノロジー カンパニー リミテッド
Priority to CN201780085560.3A priority Critical patent/CN110249281B/zh
Priority to PCT/JP2017/005016 priority patent/WO2018146803A1/ja
Priority to JP2018566725A priority patent/JP6862477B2/ja
Publication of WO2018146803A1 publication Critical patent/WO2018146803A1/ja
Priority to US16/532,864 priority patent/US11513514B2/en

Links

Images

Classifications

    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0011Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
    • G05D1/0027Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement involving a plurality of vehicles, e.g. fleet or convoy travelling
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64CAEROPLANES; HELICOPTERS
    • B64C39/00Aircraft not otherwise provided for
    • B64C39/02Aircraft not otherwise provided for characterised by special use
    • B64C39/024Aircraft not otherwise provided for characterised by special use of the remote controlled vehicle type, i.e. RPV
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64DEQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENT OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
    • B64D47/00Equipment not otherwise provided for
    • B64D47/08Arrangements of cameras
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/005Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 with correlation of navigation data from several sources, e.g. map or contour matching
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0011Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
    • G05D1/0016Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement characterised by the operator's input device
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0011Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
    • G05D1/0038Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement by providing the operator with simple or augmented images from one or more cameras located onboard the vehicle, e.g. tele-operation
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0011Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
    • G05D1/0044Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement by providing the operator with a computer generated representation of the environment of the vehicle, e.g. virtual reality, maps
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64UUNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U10/00Type of UAV
    • B64U10/10Rotorcrafts
    • B64U10/13Flying platforms
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64UUNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00UAVs specially adapted for particular uses or applications
    • B64U2101/30UAVs specially adapted for particular uses or applications for imaging, photography or videography
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64UUNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2201/00UAVs characterised by their flight controls
    • B64U2201/10UAVs characterised by their flight controls autonomous, i.e. by navigating independently from ground or air stations, e.g. by using inertial navigation systems [INS]
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64UUNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2201/00UAVs characterised by their flight controls
    • B64U2201/10UAVs characterised by their flight controls autonomous, i.e. by navigating independently from ground or air stations, e.g. by using inertial navigation systems [INS]
    • B64U2201/102UAVs characterised by their flight controls autonomous, i.e. by navigating independently from ground or air stations, e.g. by using inertial navigation systems [INS] adapted for flying in formations
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64UUNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2201/00UAVs characterised by their flight controls
    • B64U2201/20Remote controls
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/28Mobile studios

Definitions

  • the present disclosure relates to a position processing device, a position processing system, a position processing method, a program, and a recording medium that process position information of a plurality of flying objects.
  • the present disclosure relates to an aircraft that flies based on processed position information, a flight system, a flight control method, a program, and a recording medium.
  • a plurality of unmanned aircrafts fly together in one area.
  • a plurality of unmanned aircraft can fly in a coordinated manner by executing a preset flight program (see Patent Document 1).
  • a plurality of flying bodies as a plurality of unmanned aircraft stop moving to a designated position in the air according to a command from a ground station and emit light.
  • the observer can observe the constellation and the like in a pseudo manner.
  • the flying object described in Patent Document 1 can fly according to a flight route and flight position set in advance, but it is difficult to fly in consideration of a flight route and flight position that are not set in advance. . Therefore, the system described in Patent Document 1 cannot specify a flight route or the like in real time, and has a low degree of freedom when the unmanned aircraft is flying.
  • the flight route and flight position can be instructed to the unmanned aircraft reflecting the operator's will in real time.
  • an operating device propo
  • a plurality of operation devices are required, and it is difficult to operate a plurality of unmanned aerial vehicles in cooperation.
  • the position processing device is a position processing device that processes position information of a plurality of flying objects, and selects a plurality of flying objects and forms a flight group to which the selected plurality of flying objects belong. And a determining unit that determines first relative position information that is relative position information of a plurality of flying objects belonging to the flight group during operation by the operating device that instructs control of the flying object.
  • the determination unit may determine relative position information of each of the plurality of flying objects with respect to a reference position of the plurality of flying objects belonging to the flight group as the first relative position information.
  • the determining unit may determine the identification information of each of the plurality of flying objects in association with the relative position information of each of the flying objects identified by the identification information.
  • the first relative position information may include relative position information of a plurality of flying objects in a three-dimensional space.
  • the first relative position information may include distance information in the horizontal direction of a plurality of flying objects.
  • the first relative position information may include gravity direction distance information of a plurality of flying objects.
  • the position processing device may further include a display unit that displays a plurality of flying object images indicating a plurality of flying objects, and an operation unit that receives an input.
  • the determination unit may change the first relative position information by changing the positions of the plurality of flying object images displayed on the display unit by input to the operation unit.
  • the operation unit may accept an input by a drag operation.
  • the display unit may display distance information between the plurality of flying objects based on the positions of the plurality of flying object images changed by the drag operation.
  • the position processing device may further include an operation unit that receives an input.
  • the determination unit may determine the first relative position information based on distance information between the plurality of flying objects input to the operation unit.
  • the position processing device may further include an acquisition unit that acquires position information of each of the plurality of flying objects.
  • the determination unit may determine the first relative position information based on second relative position information that is relative position information based on a difference between the plurality of acquired position information.
  • the position processing device may further include an output unit that outputs the first relative position information.
  • the flying object is a flying object that forms a flight group together with another flying object, and an instruction for instructing control of the flight from an operating device that instructs control of a plurality of flying objects belonging to the flight group
  • a first acquisition unit that acquires a signal and first relative position information that is relative position information of the aircraft with respect to a reference position of a plurality of aircraft belonging to the flight group; an instruction signal;
  • a control unit that controls the flight of the flying object by fixing the relative positional relationship between the reference position and the flying object based on the relative position information of the flying object.
  • the instruction signal may include first turning instruction information for instructing turning of a plurality of flying objects.
  • the control unit fixes the distance between the flying object and the reference positions of a plurality of flying objects belonging to the flight group based on the first turning instruction information, and the flying object turns around the reference position. May be controlled.
  • the instruction signal may include second turning instruction information for instructing turning of a plurality of flying objects.
  • the control unit may control the flight of the flying object such that the position of the flying object is fixed and the flying object turns around the position of the flying object based on the second turning instruction information.
  • the flying object may further include a first imaging unit.
  • the control unit controls the angle of view of the first imaging unit based on the number of flying objects that fly in cooperation, and determines the imaging direction of the first imaging unit based on the first relative position information. You may control.
  • the flying object indicates the flying position of the flying object based on the second acquisition unit that acquires the first flying position information indicating the flying position of the flying object, and the reference position and the first relative position information. And a calculation unit for calculating second flight position information.
  • the control unit may control the flight of the flying body so that the first flight position information and the second flight position information match.
  • the first imaging unit may acquire information on the first field angle indicating the field angle of the first imaging unit.
  • the 1st acquisition part may acquire the information on the 2nd field angle which shows the field angle of the 2nd image pick-up part with which other flying bodies are provided.
  • the control unit may control the flight of the flying body so that the difference between the first angle of view and the second angle of view is substantially constant.
  • the first acquisition unit may acquire a second captured image captured by a second imaging unit included in another flying object. Based on the first captured image and the second captured image captured by the first imaging unit, the calculation unit calculates a second relative position that is relative position information of the flying object with respect to another flying object. Information may be calculated.
  • the first relative position information may include third relative position information that is relative position information of the flying object with respect to the other flying objects.
  • the first control unit may control the flight of the flying body so that the second relative position information matches the third relative position information.
  • the flying object may further include a distance measuring sensor that measures a distance between the flying object and another flying object to obtain first distance information.
  • the first relative position information may include second distance information indicating a distance between the flying object and another flying object.
  • the control unit may control the flight of the flying body so that the first distance information matches the second distance information.
  • the position processing system is a position processing system that processes position information of a plurality of flying objects, and selects a plurality of flying objects and forms a flight group to which the selected plurality of flying objects belong.
  • a determination unit that determines first relative position information that is relative position information of a plurality of flying objects belonging to a flight group during operation by an operating device that instructs control of the flying object;
  • a setting unit that sets relative position information for a plurality of flying objects.
  • the flight system is a flight system including a plurality of aircraft that fly in a flight group, and an operation device that directs control of the plurality of aircraft.
  • An instruction signal instructing the control of the flight of the body is transmitted, and each of the plurality of aircraft receives the instruction signal, and displays the relative position information of the plurality of aircraft belonging to the flight group during the operation by the operation device.
  • the relative positional relationship of the plurality of flying objects is fixed, and the flight of each flying object is controlled.
  • the flight system may further include an image processing device.
  • Each of the plurality of flying bodies may capture a captured image by capturing a different imaging direction, and transmit the captured image to the image processing apparatus.
  • the image processing apparatus may receive a plurality of captured images from each of the plurality of flying objects and generate at least one of a panoramic image and a stereo image based on the plurality of captured images.
  • the position processing method is a position processing method in a position processing apparatus that processes position information of a flying object, and selects a plurality of flying objects and forms a flight group to which the selected plurality of flying objects belong. And determining first relative position information, which is relative position information of a plurality of flying objects belonging to the flight group, during operation by the operating device that instructs control of the flying object.
  • the step of determining the position information may include determining relative position information of each of the plurality of aircrafts with respect to a reference position of the plurality of aircraft belonging to the flight group as the first relative position information. .
  • the step of determining the position information may include determining relative position information of each of the plurality of aircrafts with respect to a reference position of the plurality of aircraft belonging to the flight group as the first relative position information. .
  • the step of determining the position information may include a step of determining the identification information of each of the plurality of flying objects in association with the relative position information of each of the flying objects identified by the identification information.
  • the first relative position information may include relative position information of a plurality of flying objects in a three-dimensional space.
  • the first relative position information may include distance information in the horizontal direction of a plurality of flying objects.
  • the first relative position information may include gravity direction distance information of a plurality of flying objects.
  • the position processing method may further include a step of displaying a plurality of flying object images indicating a plurality of flying objects and a step of receiving an input to the operation unit.
  • the step of determining the position information may include a step of changing the first relative position information by changing the positions of the displayed plurality of flying object images by input.
  • the step of receiving an input may include a step of receiving an input by a drag operation.
  • the step of displaying the flying object image may include a step of displaying distance information between the plurality of flying objects based on the positions of the plurality of flying object images changed by the drag operation.
  • the position processing method may further include a step of receiving an input to the operation unit.
  • the step of determining the position information may include a step of determining the first relative position information based on distance information between the plurality of flying objects input to the operation unit.
  • the position processing method may further include a step of acquiring position information of each of the plurality of flying objects.
  • the step of determining the position information is a step of determining the first relative position information based on the second relative position information that is relative position information based on the difference between the plurality of acquired position information. May be included.
  • the position processing method may further include a step of outputting the first relative position information.
  • a flight control method for a flying object that forms a flight group together with another flying object, and an instruction for instructing flight control from an operating device that instructs control of a plurality of flying objects belonging to the flight group A step of acquiring a signal, a step of acquiring first relative position information that is relative position information of the aircraft with respect to a reference position of a plurality of aircraft belonging to the flight group, an instruction signal and a first relative And controlling the flight of the air vehicle by fixing the relative positional relationship between the reference position and the air vehicle based on the general position information.
  • the instruction signal may include first turning instruction information for instructing turning of a plurality of flying objects.
  • first turning instruction information for instructing turning of a plurality of flying objects.
  • the distance between the flying object and the reference positions of a plurality of flying objects belonging to the flight group is fixed based on the first turning instruction information, and the flying object turns around the reference position.
  • a step of controlling the air vehicle may be included.
  • the instruction signal may include second turning instruction information for instructing turning of a plurality of flying objects.
  • the step of controlling the flight of the flying body controls the flight of the flying body so that the position of the flying body is fixed based on the second turning instruction information, and the flying body turns around the position of the flying body. Steps may be included.
  • the flight control method includes a step of controlling the angle of view of the first imaging unit included in the flying body based on the number of flying bodies belonging to the flying group, and a first relative position information based on the first relative position information. Controlling the imaging direction of the imaging unit.
  • the flight control method includes a step of acquiring first flight position information indicating a flight position of the aircraft, and a second position indicating the flight position of the aircraft based on the reference position and the first relative position information. Calculating flight position information. Controlling the flight of the air vehicle may include controlling the flight of the air vehicle so that the first flight position information and the second flight position information match.
  • the flight control method includes a step of acquiring information on a first angle of view indicating the angle of view of the first imaging unit, and a second angle of view indicating the angle of view of the second imaging unit included in another flying object. Obtaining information.
  • the step of controlling the flight of the flying object may include the step of controlling the flight of the flying object such that a difference between the first angle of view and the second angle of view is substantially constant.
  • the flight control method captures a first captured image by capturing with a first image capturing unit, obtains a second captured image captured by a second image capturing unit included in another flying object, and Calculating second relative position information that is relative position information of the flying object with respect to the other flying objects based on the first captured image and the second captured image may be further included.
  • the first relative position information may include third relative position information that is relative position information of the flying object with respect to the other flying objects.
  • Controlling the flight of the air vehicle may include controlling the flight of the air vehicle so that the second relative position information and the third relative position information match.
  • the flight control method may further include a step of measuring a distance between the flying object and another flying object to obtain first distance information.
  • the first relative position information may include second distance information indicating a distance between the flying object and another flying object.
  • Controlling the flight of the flying object may include controlling the flight of the flying object such that the first distance information and the second distance information match.
  • the position processing method is a position processing method in a position processing system for processing position information of a flying object, wherein a plurality of flying objects are selected to form a flight group to which the selected plurality of flying objects belong. Determining first relative position information, which is relative position information of a plurality of flying objects belonging to a flight group, during operation by an operating device that instructs control of the flying object; Setting relative position information for a plurality of aircraft.
  • a flight control method is a flight control method in a flight system, comprising: a plurality of aircraft that fly in a flight group; and an operating device that instructs control of the plurality of aircraft.
  • controlling the flight of each of the flying objects by fixing the relative positional relationship between the plurality of flying objects based on the position information.
  • At least one of a panoramic image and a stereo image based on a step of capturing a different imaging direction for each of a plurality of flying objects, a step of acquiring a plurality of captured images, and a plurality of captured images Generating the step of:
  • the program selects a plurality of flying objects and forms a flight group to which the selected plurality of flying objects belong to a computer that is a position processing device that processes position information of the plurality of flying objects; Determining a first relative position information, which is a relative position information of a plurality of flying objects belonging to a flight group, during an operation by an operating device for instructing a control of the flying object. It is.
  • the program obtains an instruction signal instructing control of flight from an operating device that instructs control of a plurality of aircraft belonging to the flight group to an aircraft that forms a flight group with other aircraft.
  • a step of acquiring relative position information of the flying object with respect to a reference position of a plurality of flying objects belonging to the flying group during operation by the operating device that instructs control of the flying object; and relative to the instruction signal And controlling the flight of the flying object by fixing the relative positional relationship between the reference position and the flying object based on the position information.
  • the recording medium selects a plurality of flying objects and forms a flight group to which the selected plurality of flying objects belong to a computer that is a position processing device that processes position information of the plurality of flying objects; Determining first relative position information that is relative position information of a plurality of flying objects belonging to a flight group during operation by an operating device that instructs control of the flying object.
  • the recording medium instructs the control of the flight from the operating device for instructing the control of the plurality of flying objects belonging to the flying group to the computer that forms the flying group together with the other flying objects.
  • a step of acquiring an instruction signal, a step of acquiring relative position information of the flying object with respect to a reference position of a plurality of flying objects belonging to the flight group during an operation by an operating device for instructing control of the flying object, and an instruction signal And controlling the flight of the flying object by fixing the relative positional relationship between the reference position and the flying object on the basis of the relative position information and the computer that records the program for executing It is a readable recording medium.
  • a figure showing an example of the appearance of an unmanned aerial vehicle The figure which shows an example of the concrete appearance of an unmanned aerial vehicle
  • the block diagram which shows an example of the hardware constitutions of the unmanned aircraft in 1st Embodiment The perspective view which shows an example of the external appearance of a transmitter and a portable terminal (smartphone)
  • Block diagram showing an example of the hardware configuration of the transmitter Block diagram showing an example of the hardware configuration of a portable terminal
  • the figure which shows the example of designation of the unmanned aerial vehicle belonging to the same flight group in the position relation processing screen The figure which shows the example of adjustment of the position of the horizontal direction of an unmanned aerial vehicle in a position relation processing screen
  • the block diagram which shows an example of the hardware constitutions of the unmanned aircraft in 2nd Embodiment Block diagram showing an example of the functional configuration of an unmanned aerial vehicle Block diagram showing an example of the functional configuration of a mobile terminal
  • the figure for demonstrating the rotation method of a rotor blade according to the kind of instruction signal from a transmitter Schematic diagram showing an example of a plurality of unmanned aircraft forming a flight group and a virtual machine located at a reference position
  • Schematic showing an example of turning in the first turning mode of an unmanned aerial vehicle
  • Schematic showing an example of turning in the second turning mode of an unmanned aerial vehicle
  • Schematic diagram showing a first arrangement example during flight of three unmanned aerial vehicles forming a flight group
  • Schematic diagram showing an example of the array of five unmanned aerial vehicles that form a flight group during flight Schematic diagram of a second arrangement example in the horizontal direction during flight of three unmanned aerial vehicles forming a flight group
  • Schematic diagram of second arrangement example in height direction during flight of three unmanned aerial vehicles forming a flight group Flow chart showing an example of operation of an unmanned aerial vehicle
  • an unmanned aerial vehicle (UAV: Unmanned Aerial Vehicle) is exemplified as a flying object.
  • Unmanned aerial vehicles include aircraft that travel in the air.
  • the unmanned aerial vehicle is represented as “UAV”.
  • the flight control method defines the operations in the flying object and the flight system.
  • the recording medium is a recording medium of a program (for example, a program that causes an unmanned aircraft to execute various processes).
  • a flight system is exemplified as the position processing system.
  • a portable terminal is illustrated as a position processing apparatus.
  • the mobile terminal may include a smartphone or a tablet terminal.
  • the position processing method defines operations in the position processing apparatus and the position processing system.
  • the recording medium is a recording medium of a program (for example, a program that causes a mobile terminal to execute various processes).
  • FIG. 1 is a schematic diagram illustrating a configuration example of a flight system 10 according to the first embodiment.
  • the flight system 10 includes an unmanned aircraft 100, a transmitter 50, and a portable terminal 80.
  • the unmanned aircraft 100, the transmitter 50, and the portable terminal 80 can communicate with each other by wired communication or wireless communication (for example, a wireless local area network (LAN)).
  • LAN wireless local area network
  • FIG. 2 is a diagram illustrating an example of the appearance of the unmanned aerial vehicle 100.
  • FIG. 3 is a diagram illustrating an example of a specific appearance of the unmanned aerial vehicle 100. A side view when the unmanned aircraft 100 flies in the moving direction STV0 is shown in FIG. 2, and a perspective view when the unmanned aircraft 100 flies in the moving direction STV0 is shown in FIG.
  • a roll axis (see x-axis) is defined in a direction parallel to the ground and along the moving direction STV0.
  • a pitch axis (see y-axis) is defined in a direction parallel to the ground and perpendicular to the roll axis, and further, a yaw axis (z-axis) in a direction perpendicular to the ground and perpendicular to the roll axis and the pitch axis. See).
  • the unmanned aerial vehicle 100 includes a UAV main body 102, a gimbal 200, an imaging device 220, and a plurality of imaging devices 230.
  • the imaging devices 220 and 230 are an example of an imaging unit.
  • the UAV main body 102 includes a plurality of rotor blades (propellers).
  • the UAV main body 102 causes the unmanned aircraft 100 to fly by controlling the rotation of a plurality of rotor blades.
  • the UAV main body 102 causes the unmanned aircraft 100 to fly using, for example, four rotary wings.
  • the number of rotor blades is not limited to four.
  • Unmanned aerial vehicle 100 may also be a fixed wing aircraft that does not have rotating wings.
  • the imaging device 220 is an imaging camera that captures a subject included in a desired imaging range (for example, an aerial subject, a landscape such as a mountain or a river, a building on the ground).
  • a desired imaging range for example, an aerial subject, a landscape such as a mountain or a river, a building on the ground.
  • the plurality of imaging devices 230 are sensing cameras that image the surroundings of the unmanned aircraft 100 in order to control the flight of the unmanned aircraft 100.
  • the two imaging devices 230 may be provided on the front surface that is the nose of the unmanned aircraft 100.
  • the other two imaging devices 230 may be provided on the bottom surface of the unmanned aircraft 100.
  • the two imaging devices 230 on the front side may be paired and function as a so-called stereo camera.
  • the two imaging devices 230 on the bottom side may also be paired and function as a stereo camera.
  • Three-dimensional spatial data around the unmanned aerial vehicle 100 may be generated based on images captured by the plurality of imaging devices 230. Note that the number of imaging devices 230 included in the unmanned aerial vehicle 100 is not limited to four.
  • the unmanned aircraft 100 only needs to include at least one imaging device 230.
  • the unmanned aerial vehicle 100 may include at least one imaging device 230 on each of the nose, tail, side, bottom, and ceiling of the unmanned aircraft 100.
  • the angle of view that can be set by the imaging device 230 may be wider than the angle of view that can be set by the imaging device 220.
  • the imaging device 230 may have a single focus lens or a fisheye lens.
  • FIG. 4 is a block diagram showing an example of the hardware configuration of the unmanned aerial vehicle 100.
  • the unmanned aircraft 100 includes a UAV control unit 110, a communication interface 150, a memory 160, a gimbal 200, a rotary wing mechanism 210, an imaging device 220, an imaging device 230, a GPS receiver 240, an inertial measurement device (
  • the configuration includes an IMU (Inertial Measurement Unit) 250, a magnetic compass 260, a barometric altimeter 270, an ultrasonic sensor 280, and a laser measuring instrument 290.
  • the communication interface 150 is an example of a communication unit.
  • the ultrasonic sensor 280 and the laser measuring device 290 are examples of distance measuring sensors.
  • the UAV control unit 110 is configured using, for example, a CPU (Central Processing Unit), an MPU (Micro Processing Unit), or a DSP (Digital Signal Processor).
  • the UAV control unit 110 performs signal processing for overall control of operations of each unit of the unmanned aircraft 100, data input / output processing with respect to other units, data calculation processing, and data storage processing.
  • the UAV control unit 110 controls the flight of the unmanned aircraft 100 according to a program stored in the memory 160.
  • UAV control unit 110 controls the flight of unmanned aerial vehicle 100 in accordance with instructions received from remote transmitter 50 via communication interface 150.
  • Memory 160 may be removable from unmanned aerial vehicle 100.
  • the UAV control unit 110 may specify the environment around the unmanned aircraft 100 by analyzing a plurality of images captured by the plurality of imaging devices 230.
  • the UAV control unit 110 controls the flight based on the environment around the unmanned aircraft 100 while avoiding obstacles, for example.
  • the UAV control unit 110 acquires date / time information indicating the current date / time.
  • the UAV control unit 110 may acquire date / time information indicating the current date / time from the GPS receiver 240.
  • the UAV control unit 110 may acquire date / time information indicating the current date / time from a timer (not shown) mounted on the unmanned aircraft 100.
  • the UAV control unit 110 acquires position information indicating the position of the unmanned aircraft 100.
  • the UAV control unit 110 may acquire position information indicating the latitude, longitude, and altitude at which the unmanned aircraft 100 exists from the GPS receiver 240.
  • the UAV control unit 110 acquires, from the GPS receiver 240, latitude / longitude information indicating the latitude and longitude where the unmanned aircraft 100 exists, and altitude information indicating the altitude where the unmanned aircraft 100 exists from the barometric altimeter 270, as position information.
  • the UAV control unit 110 may acquire the distance between the ultrasonic emission point and the ultrasonic reflection point by the ultrasonic sensor 280 as altitude information.
  • the UAV control unit 110 acquires orientation information indicating the orientation of the unmanned aircraft 100 from the magnetic compass 260.
  • direction information for example, a direction corresponding to the nose direction of the unmanned aircraft 100 is indicated.
  • the UAV control unit 110 may acquire position information indicating a position where the unmanned aircraft 100 should be present when the imaging device 220 captures an imaging range to be imaged.
  • the UAV control unit 110 may acquire position information indicating the position where the unmanned aircraft 100 should be present from the memory 160.
  • the UAV control unit 110 may acquire position information indicating the position where the unmanned aircraft 100 should exist from another device such as the transmitter 50 via the communication interface 150.
  • the UAV control unit 110 refers to the 3D map database, specifies a position where the unmanned aircraft 100 can exist in order to capture an imaging range to be imaged, and sets the position where the unmanned aircraft 100 should exist. May be acquired as position information indicating.
  • the UAV control unit 110 acquires imaging information indicating the imaging ranges of the imaging device 220 and the imaging device 230.
  • the UAV control unit 110 acquires angle-of-view information indicating the angle of view of the imaging device 220 and the imaging device 230 from the imaging device 220 and the imaging device 230 as parameters for specifying the imaging range.
  • the UAV control unit 110 acquires information indicating the imaging direction of the imaging device 220 and the imaging device 230 as a parameter for specifying the imaging range.
  • the UAV control unit 110 acquires posture information indicating the posture state of the imaging device 220 from the gimbal 200 as information indicating the imaging direction of the imaging device 220, for example.
  • the UAV control unit 110 acquires information indicating the direction of the unmanned aircraft 100.
  • Information indicating the posture state of the imaging device 220 indicates a rotation angle from the reference rotation angle of the pitch axis and yaw axis of the gimbal 200.
  • the UAV control unit 110 acquires position information indicating a position where the unmanned aircraft 100 exists as a parameter for specifying the imaging range.
  • the UAV control unit 110 defines an imaging range indicating a geographical range captured by the imaging device 220 based on the angle of view and the imaging direction of the imaging device 220 and the imaging device 230, and the position where the unmanned aircraft 100 exists.
  • the imaging information may be acquired by generating imaging information indicating the imaging range.
  • the UAV control unit 110 may acquire imaging information indicating an imaging range to be imaged by the imaging device 220.
  • the UAV control unit 110 may acquire imaging information to be imaged by the imaging device 220 from the memory 160.
  • the UAV control unit 110 may acquire imaging information to be imaged by the imaging device 220 from another device such as the transmitter 50 via the communication interface 150.
  • the UAV control unit 110 may acquire three-dimensional information (three-dimensional information) indicating the three-dimensional shape (three-dimensional shape) of an object existing around the unmanned aircraft 100.
  • the object is a part of a landscape such as a building, a road, a car, and a tree.
  • the three-dimensional information is, for example, three-dimensional space data.
  • the UAV control unit 110 may acquire the three-dimensional information by generating the three-dimensional information indicating the three-dimensional shape of the object existing around the unmanned aircraft 100 from each image obtained from the plurality of imaging devices 230.
  • the UAV control unit 110 may acquire the three-dimensional information indicating the three-dimensional shape of the object existing around the unmanned aircraft 100 by referring to the three-dimensional map database stored in the memory 160.
  • the UAV control unit 110 may acquire three-dimensional information related to the three-dimensional shape of an object existing around the unmanned aircraft 100 by referring to a three-dimensional map database managed by a server existing on the network.
  • the UAV control unit 110 acquires image data captured by the imaging device 220 and the imaging device 230.
  • the UAV control unit 110 controls the gimbal 200, the rotary blade mechanism 210, the imaging device 220, and the imaging device 230.
  • the UAV control unit 110 controls the imaging range of the imaging device 220 by changing the imaging direction or angle of view of the imaging device 220.
  • the UAV control unit 110 controls the imaging range of the imaging device 220 supported by the gimbal 200 by controlling the rotation mechanism of the gimbal 200.
  • the imaging range refers to a geographical range captured by the imaging device 220 or the imaging device 230.
  • the imaging range is defined by latitude, longitude, and altitude.
  • the imaging range may be a range in three-dimensional spatial data defined by latitude, longitude, and altitude.
  • the imaging range is specified based on the angle of view and imaging direction of the imaging device 220 or the imaging device 230, and the position where the unmanned aircraft 100 is present.
  • the imaging directions of the imaging device 220 and the imaging device 230 are defined from the azimuth and the depression angle in which the front surface where the imaging lenses of the imaging device 220 and the imaging device 230 are provided is directed.
  • the imaging direction of the imaging device 220 is a direction specified from the heading direction of the unmanned aerial vehicle 100 and the posture state of the imaging device 220 with respect to the gimbal 200.
  • the imaging direction of the imaging device 230 is a direction specified from the heading of the unmanned aerial vehicle 100 and the position where the imaging device 230 is provided.
  • the UAV control unit 110 controls the flight of the unmanned aircraft 100 by controlling the rotary wing mechanism 210. That is, the UAV control unit 110 controls the position including the latitude, longitude, and altitude of the unmanned aircraft 100 by controlling the rotary wing mechanism 210.
  • the UAV control unit 110 may control the imaging ranges of the imaging device 220 and the imaging device 230 by controlling the flight of the unmanned aircraft 100.
  • the UAV control unit 110 may control the angle of view of the imaging device 220 by controlling a zoom lens included in the imaging device 220.
  • the UAV control unit 110 may control the angle of view of the imaging device 220 by digital zoom using the digital zoom function of the imaging device 220.
  • the UAV control unit 110 moves the unmanned aircraft 100 to a specific position at a specific date and time to perform desired imaging under a desired environment.
  • the range can be imaged by the imaging device 220.
  • the UAV control unit 110 moves the unmanned aircraft 100 to a specific position at the specified date and time to In this environment, the imaging device 220 can capture a desired imaging range.
  • the UAV control unit 110 may acquire the relative position information of the plurality of unmanned aircraft 100 belonging to the flight group flying in cooperation with each other via the communication interface 150, for example.
  • the UAV control unit 110 may set the relative position information by causing the memory 160 to store the relative position information. Therefore, the UAV control unit 110 is an example of a setting unit. By setting the relative position information, flight control can be performed by taking the relative position information into account (for example, maintaining the relative positional relationship).
  • the communication interface 150 communicates with the transmitter 50.
  • the communication interface 150 receives various commands and information for the UAV control unit 110 from the remote transmitter 50.
  • the memory 160 includes a gimbal 200, a rotating blade mechanism 210, an imaging device 220, an imaging device 230, a GPS receiver 240, an inertial measurement device 250, a magnetic compass 260, a barometric altimeter 270, an ultrasonic sensor 280, and a laser. A program and the like necessary for controlling the measuring device 290 are stored.
  • the memory 160 may be a computer-readable recording medium, such as SRAM (Static Random Access Memory), DRAM (Dynamic Random Access Memory), EPROM (Erasable Programmable Read Only Memory), EEPROM (Electrically Erasable Programmable Read-Only Memory), and It may include at least one flash memory such as a USB memory.
  • the memory 160 may be provided inside the UAV main body 102. It may be provided so as to be removable from the UAV main body 102.
  • the gimbal 200 supports the imaging device 220 to be rotatable about at least one axis.
  • the gimbal 200 may support the imaging device 220 rotatably about the yaw axis, pitch axis, and roll axis.
  • the gimbal 200 may change the imaging direction of the imaging device 220 by rotating the imaging device 220 about at least one of the yaw axis, the pitch axis, and the roll axis.
  • the rotary blade mechanism 210 includes a plurality of rotary blades 211, a plurality of drive motors 212 that rotate the plurality of rotary blades 211, and a current sensor that measures a current value (actual value) of a drive current for driving the drive motor 212. 213.
  • the drive current is supplied to the drive motor 212.
  • the imaging device 220 captures a subject within a desired imaging range and generates captured image data.
  • Image data obtained by imaging by the imaging device 220 is stored in a memory included in the imaging device 220 or the memory 160.
  • the imaging device 230 captures the surroundings of the unmanned aircraft 100 and generates captured image data. Image data of the imaging device 230 is stored in the memory 160.
  • the GPS receiver 240 receives a plurality of signals indicating times and positions (coordinates) of each GPS satellite transmitted from a plurality of navigation satellites (that is, GPS satellites).
  • the GPS receiver 240 calculates the position of the GPS receiver 240 (that is, the position of the unmanned aircraft 100) based on the plurality of received signals.
  • the GPS receiver 240 outputs the position information of the unmanned aircraft 100 to the UAV control unit 110.
  • the calculation of the position information of the GPS receiver 240 may be performed by the UAV control unit 110 instead of the GPS receiver 240. In this case, the UAV control unit 110 receives information indicating the time and the position of each GPS satellite included in a plurality of signals received by the GPS receiver 240.
  • the inertial measurement device 250 detects the attitude of the unmanned aircraft 100 and outputs the detection result to the UAV control unit 110.
  • the inertial measurement device IMU 250 detects the acceleration of the unmanned aircraft 100 in the three axial directions of the front, rear, left and right, and the angular velocity in the three axial directions of the pitch axis, the roll axis, and the yaw axis. .
  • the magnetic compass 260 detects the heading of the unmanned aircraft 100 and outputs the detection result to the UAV control unit 110.
  • the barometric altimeter 270 detects the altitude at which the unmanned aircraft 100 flies and outputs the detection result to the UAV control unit 110.
  • Ultrasonic sensor 280 emits ultrasonic waves, detects ultrasonic waves reflected by the ground and objects, and outputs detection results to UAV control unit 110.
  • the detection result may indicate a distance from the unmanned aircraft 100 to the ground, that is, an altitude.
  • the detection result may indicate the distance from the unmanned aerial vehicle 100 to the object.
  • Laser measuring device 290 irradiates an object with laser light, receives reflected light reflected by the object, and measures the distance between unmanned aircraft 100 and the object using the reflected light.
  • the distance measurement method using laser light may be a time-of-flight method.
  • FIG. 5 is a perspective view showing an example of the appearance of the portable terminal 80 to which the transmitter 50 is attached.
  • a smartphone 80 ⁇ / b> S is shown as an example of the mobile terminal 80.
  • the up / down / front / rear / left / right directions with respect to the transmitter 50 are assumed to follow the directions of arrows shown in FIG.
  • the transmitter 50 is used in a state of being held by both hands of a person using the transmitter 50 (hereinafter referred to as “operator”), for example.
  • the transmitter 50 includes, for example, a resin casing 50B having a substantially rectangular parallelepiped shape (in other words, a substantially box shape) having a substantially square bottom surface and a height shorter than one side of the bottom surface.
  • a left control rod 53L and a right control rod 53R are provided in a projecting manner at approximately the center of the housing surface of the transmitter 50.
  • the left control rod 53L and the right control rod 53R are used in operations for remotely controlling the movement of the unmanned aircraft 100 by the operator (for example, moving the unmanned aircraft 100 back and forth, moving left and right, moving up and down, and changing the direction).
  • the In FIG. 5, the left control rod 53L and the right control rod 53R show positions in an initial state where no external force is applied from both hands of the operator.
  • the left control rod 53L and the right control rod 53R automatically return to predetermined positions (for example, the initial position shown in FIG. 5) after the external force applied by the operator is released.
  • the power button B1 of the transmitter 50 is disposed on the front side (in other words, the operator side) of the left control rod 53L.
  • the power button B1 is pressed once by the operator, for example, the remaining capacity of the battery (not shown) built in the transmitter 50 is displayed in the remaining battery capacity display portion L2.
  • the power button B1 is pressed again by the operator, for example, the power of the transmitter 50 is turned on, and power is supplied to each part (see FIG. 7) of the transmitter 50 so that it can be used.
  • RTH (Return To Home) button B2 is arranged on the front side (in other words, the operator side) of the right control rod 53R.
  • the transmitter 50 transmits a signal for automatically returning the unmanned aircraft 100 to a predetermined position.
  • the transmitter 50 can automatically return the unmanned aircraft 100 to a predetermined position (for example, a take-off position stored in the unmanned aircraft 100).
  • the RTH button B2 is used when, for example, the operator loses sight of the fuselage of the unmanned aircraft 100 during aerial shooting with the unmanned aircraft 100 outdoors, or when it becomes impossible to operate due to radio interference or unexpected troubles. Is available.
  • the remote status display part L1 and the remaining battery capacity display part L2 are arranged on the front side (in other words, the operator side) of the power button B1 and the RTH button B2.
  • the remote status display unit L1 is configured using, for example, an LED (Light Emission Diode), and displays a wireless connection state between the transmitter 50 and the unmanned aircraft 100.
  • the battery remaining amount display unit L2 is configured using, for example, an LED, and displays the remaining amount of the capacity of a battery (not shown) built in the transmitter 50.
  • Two antennas AN1 and AN2 project from the rear side of the housing 50B of the transmitter 50 and rearward from the left control rod 53L and the right control rod 53R.
  • the antennas AN1 and AN2 are unmanned signals generated by the transmitter control unit 61 (that is, signals for controlling the movement of the unmanned aircraft 100) based on the operations of the left control rod 53L and the right control rod 53R by the operator. Transmit to aircraft 100. This signal is one of the operation input signals input by the transmitter 50.
  • the antennas AN1 and AN2 can cover a transmission / reception range of 2 km, for example.
  • the antennas AN ⁇ b> 1 and AN ⁇ b> 2 are used when images taken by the imaging devices 220 and 230 included in the unmanned aircraft 100 wirelessly connected to the transmitter 50 or various data acquired by the unmanned aircraft 100 are transmitted from the unmanned aircraft 100. In addition, these images or various data can be received.
  • the transmitter 50 does not include a display unit, but may include a display unit.
  • the portable terminal 80 may be mounted on the holder HLD.
  • the holder HLD may be bonded and attached to the transmitter 50. Thereby, the portable terminal 80 is attached to the transmitter 50 via the holder HLD.
  • the portable terminal 80 and the transmitter 50 may be connected via a wired cable (for example, a USB cable).
  • the portable terminal 80 may not be attached to the transmitter 50, and the portable terminal 80 and the transmitter 50 may be provided independently.
  • FIG. 6 is a perspective view showing an example of the external appearance of the transmitter 50 and the portable terminal 80.
  • a tablet 80 ⁇ / b> T is shown as an example of the mobile terminal 80.
  • FIG. 7 is a block diagram illustrating an example of a hardware configuration of the transmitter 50.
  • the transmitter 50 includes a left control rod 53L, a right control rod 53R, a transmitter control unit 61, a wireless communication unit 63, an interface unit 65, a power button B1, an RTH button B2, and an operation unit set OPS.
  • the remote status display unit L1 the remaining battery level display unit L2, and the display unit DP.
  • the transmitter 50 is an example of an operating device that instructs control of the unmanned aircraft 100.
  • the left control rod 53L is used for an operation for remotely controlling the movement of the unmanned aircraft 100 by, for example, the left hand of the operator.
  • the right control rod 53R is used for an operation for remotely controlling the movement of the unmanned aircraft 100 by, for example, the operator's right hand.
  • the unmanned aircraft 100 may move forward, move backward, move left, move right, move up, move down, rotate the unmanned aircraft 100 left. Or a combination thereof, and so on.
  • the transmitter control unit 61 displays the remaining capacity of the battery (not shown) built in the transmitter 50 on the remaining battery amount display unit L2. Thus, the operator can easily check the remaining capacity of the battery capacity built in the transmitter 50.
  • the power button B1 is pressed twice, a signal indicating that the power button B1 has been pressed twice is passed to the transmitter control unit 61.
  • the transmitter control unit 61 instructs a battery (not shown) built in the transmitter 50 to supply power to each unit in the transmitter 50. As a result, the operator turns on the power of the transmitter 50 and can easily start using the transmitter 50.
  • a signal indicating that the RTH button B2 has been pressed is input to the transmitter control unit 61.
  • the transmitter control unit 61 generates a signal for automatically returning the unmanned aircraft 100 to a predetermined position (for example, the takeoff position of the unmanned aircraft 100), via the wireless communication unit 63 and the antennas AN1 and AN2. Transmit to unmanned aerial vehicle 100.
  • the operator can automatically return (return) the unmanned aircraft 100 to a predetermined position by a simple operation on the transmitter 50.
  • the operation unit set OPS is configured using a plurality of operation units OP (for example, operation units OP1,..., Operation unit OPn) (n: an integer of 2 or more).
  • the operation unit set OPS supports other operation units (for example, the remote control of the unmanned aircraft 100 by the transmitter 50) except for the left control rod 53L, the right control rod 53R, the power button B1, and the RTH button B2 shown in FIG. Various operation units).
  • the various operation units referred to here are, for example, a button for instructing imaging of a still image using the imaging device 220 of the unmanned aerial vehicle 100, and an instruction for starting and ending video recording using the imaging device 220 of the unmanned aircraft 100.
  • the remote status display unit L1 and the remaining battery level display unit L2 have been described with reference to FIG.
  • the transmitter controller 61 is configured using a processor (for example, CPU, MPU or DSP).
  • the transmitter control unit 61 performs signal processing for overall control of operations of the respective units of the transmitter 50, data input / output processing with other units, data calculation processing, and data storage processing.
  • the transmitter control unit 61 acquires data of a captured image captured by the imaging device 220 of the unmanned aircraft 100 via the wireless communication unit 63 and stores it in a memory (not shown). 80 may be output. In other words, the transmitter control unit 61 may cause the portable terminal 80 to display data of an aerial image captured by the imaging device 220 of the unmanned aircraft 100. Thereby, an aerial image captured by the imaging device 220 of the unmanned aerial vehicle 100 can be displayed on the portable terminal 80.
  • the transmitter control unit 61 may generate an instruction signal for controlling the flight of the unmanned aerial vehicle 100 specified by the operation of the left control rod 53L and the right control rod 53R of the operator.
  • the transmitter control unit 61 may remotely control the unmanned aircraft 100 by transmitting this instruction signal to the unmanned aircraft 100 via the wireless communication unit 63 and the antennas AN1 and AN2. Thereby, the transmitter 50 can control the movement of the unmanned aircraft 100 remotely.
  • the transmitter control unit 61 generates an operation input signal based on an operation on an arbitrary button or an arbitrary operation unit included in the transmitter 50, and transmits the operation input signal to the unmanned aircraft 100 via the wireless communication unit 63. It's okay. In this case, the unmanned aircraft 100 can recognize that it is under the control of the operator of the transmitter 50 by receiving the operation input signal from the transmitter 50.
  • the wireless communication unit 63 is connected to two antennas AN1 and AN2.
  • the wireless communication unit 63 transmits / receives information and data to / from the unmanned aircraft 100 via the two antennas AN1 and AN2 using a predetermined wireless communication method (for example, WiFi (registered trademark)).
  • a predetermined wireless communication method for example, WiFi (registered trademark)
  • the interface unit 65 inputs and outputs information and data between the transmitter 50 and the portable terminal 80.
  • the interface unit 65 may be a USB port (not shown) provided in the transmitter 50, for example.
  • the interface unit 65 may be an interface other than the USB port.
  • FIG. 8 is a block diagram illustrating an example of a hardware configuration of the mobile terminal 80.
  • the portable terminal 80 may include a processor 81, an interface unit 82, an operation unit 83, a wireless communication unit 85, a memory 87, and a display 88.
  • the portable terminal 80 is an example of a position processing device.
  • the processor 81 is configured using, for example, a CPU, MPU, or DSP.
  • the processor 81 performs signal processing for overall control of operations of each unit of the mobile terminal 80, data input / output processing with other units, data calculation processing, and data storage processing.
  • the processor 81 may acquire data and information from the unmanned aerial vehicle 100 via the wireless communication unit 85.
  • the processor 81 may acquire data and information from the transmitter 50 via the interface unit 82.
  • the processor 81 may acquire data and information input via the operation unit 83.
  • the processor 81 may acquire data and information held in the memory 87.
  • the processor 81 may send data and information to the display 88 and cause the display 88 to display display information based on the data and information.
  • the processor 81 executes an application for instructing control of the unmanned aircraft 100.
  • the application may include a relative position processing application for processing relative position information for flying a plurality of unmanned aircraft 100 in a coordinated manner.
  • the processor 81 may generate various data used in the application.
  • the interface unit 82 inputs and outputs information and data between the transmitter 50 and the portable terminal 80.
  • the interface unit 82 may be a USB connector (not shown) provided in the mobile terminal 80, for example.
  • the interface unit 65 may be an interface other than the USB connector.
  • the operation unit 83 receives data and information input by the operator of the mobile terminal 80.
  • the operation unit 83 may include buttons, keys, a touch panel, a microphone, and the like.
  • the operation unit 83 and the display 88 are mainly configured by a touch panel.
  • the operation unit 83 can accept a touch operation, a tap operation, a drag operation, and the like.
  • the wireless communication unit 85 communicates with the unmanned aircraft 100B by various wireless communication methods.
  • the wireless communication unit 85 is via a wireless LAN, Bluetooth (registered trademark), short-range wireless communication, or a public wireless line. Communication may be included.
  • the wireless communication unit 85 is an example of an output unit.
  • the memory 87 includes, for example, a ROM that stores a program that defines the operation of the mobile terminal 80 and data of setting values, and a RAM that temporarily stores various information and data used during processing by the processor 81. Good.
  • the memory 87 may include memories other than ROM and RAM.
  • the memory 87 may be provided inside the mobile terminal 80.
  • the memory 87 may be provided so as to be removable from the portable terminal 80.
  • the program may include an application program.
  • the display 88 is configured using, for example, an LCD (Liquid Crystal Display), and displays various information and data output from the processor 81.
  • the display 88 may display aerial image data captured by the imaging device 220 of the unmanned aerial vehicle 100.
  • the display 88 may display a relative position processing screen used in the relative position processing application.
  • FIG. 9 is a block diagram illustrating an example of a functional configuration of the mobile terminal 80.
  • the processor 81 has functions of a UAV designation unit 811, a position information acquisition unit 812, a relative position processing unit 813, and an imaging information processing unit 814 by executing a program held in the memory 87.
  • the UAV designation unit 811 is an example of a selection unit.
  • the position information acquisition unit 812 is an example of an acquisition unit.
  • the relative position processing unit 813 is an example of a determination unit.
  • the UAV designation unit 811 designates (selects) a plurality (for example, two) of unmanned aircraft 100 forming one flight group from a plurality (for example, three) of unmanned aircraft 100. That is, the UAV designation unit 811 designates a plurality of unmanned aircraft 100 and forms one or more flight groups.
  • the UAV designation unit 811 may designate the unmanned aircraft 100 based on the designation information input to the operation unit 83.
  • the designation information input to the operation unit 83 may be touch information on the touch panel, or input of identification information for identifying the unmanned aircraft 100 (for example, key input, button input, voice input).
  • the UAV designation unit 811 may designate the unmanned aircraft 100 forming the flight group through the operation unit 83 among the plurality of unmanned aircraft 100 displayed on various processing screens (for example, relative position processing screen).
  • the positions of the plurality of unmanned aircraft 100 displayed on the processing screen may be determined based on the position information of each unmanned aircraft 100 acquired by the position information acquisition unit 812.
  • the position information acquisition unit 812 acquires position information (for example, information on the current position) of the unmanned aircraft 100.
  • the position information acquisition unit 812 may acquire the position information of the unmanned aircraft 100 via the wireless communication unit 85, for example.
  • the position information acquisition unit 812 may acquire position information of the unmanned aircraft 100 via the transmitter 50 and the interface unit 82, for example.
  • the position information of the unmanned aircraft 100 may be information on the absolute position of the unmanned aircraft 100.
  • the position information of the unmanned aerial vehicle 100 may include the position information received by the GPS receiver 240 of the unmanned aircraft 100.
  • the position information of the unmanned aircraft 100 may include position information obtained by referring to the three-dimensional map database.
  • the position information of the unmanned aircraft 100 may include altitude information obtained by the barometric altimeter 270, the ultrasonic sensor 280, or the laser measuring device 290.
  • the absolute position information is position information (for example, latitude, longitude, altitude information) defined by the position of an object such as one unmanned aircraft 100.
  • the relative position information may be position information defined by the positional relationship between objects such as a plurality of unmanned aircraft (for example, information on distance and direction with respect to some reference position).
  • the relative position processing unit 813 determines relative position information of a plurality of unmanned aircraft 100 included in the same flight group. It can be said that the relative position information of the plurality of unmanned aircraft 100 is information on the relative positional relationship of each of the plurality of unmanned aircraft 100.
  • the relative position processing unit 813 may determine a relative positional relationship during the flight of the plurality of unmanned aircraft 100 and the flight operation by the transmitter 50.
  • the relative position processing unit 813 uses, as a reference, one specific unmanned aircraft 100 among the plurality of unmanned aircraft 100 included in the same flight group, information on the positions of the other unmanned aircraft 100 with respect to the unmanned aircraft 100, It may be determined as relative position information.
  • the relative position processing unit 813 may determine a reference position (reference position) in the flight group based on the positions (absolute positions) of a plurality of unmanned aircraft 100 included in the same flight group.
  • the relative position processing unit 813 may determine, as relative position information, information on the position of each of the plurality of unmanned aircraft 100 with respect to the reference position with reference to the reference position.
  • the relative position processing unit 813 drags the position of the unmanned aircraft 100 for which the relative position is to be set via the operation unit 83 among the plurality of unmanned aircraft 100 displayed on various processing screens (for example, the relative position processing screen).
  • the relative position information may be changed by changing the operation. That is, the relative position processing unit 813 may adjust the relative position information by a drag operation.
  • the relative position processing unit 813 may acquire the value of the distance between the plurality of unmanned aircraft 100 via the operation unit 83 and may determine relative position information based on this distance.
  • the plurality of unmanned aircraft 100 included in the same flight group may fly in cooperation with each other.
  • the flight group may be formed by the mobile terminal 80.
  • the relative position information may be determined by the portable terminal 80.
  • FIG. 10 is a diagram showing an example of designation of unmanned aerial vehicles 100 belonging to the same flight group on the positional relationship processing screen SG.
  • the positional relationship processing screen SG may be displayed on at least a part of the display 88. The same applies to the subsequent positional relationship processing screen SG.
  • the UAV images G11 to G13 are displayed on the positional relationship processing screen SG of FIG.
  • UAV images G11, G12, and G13 are displayed corresponding to the absolute position of each unmanned aircraft 100, and indicate the positions of three unmanned aircraft 100G11, 100G12, and 100G13 (all not shown).
  • the area indicated by the positional relationship processing screen SG corresponds to the area where the unmanned aircraft 100 is placed in the real space, and may be shown at a predetermined scale with respect to the real space area.
  • the display position of the UAV images G11 to G13 on the positional relationship processing screen SG may be a position corresponding to the absolute position acquired by the position information acquisition unit 812.
  • a UAV image is an example of a flying object image.
  • the UAV image G11 may be displayed at the center of the positional relationship processing screen SG so that the UAV image G11 is easily visible. Note that another UAV image G11 may be displayed so as to be positioned at the center.
  • the operation unit 83 receives a touch operation on the UAV images G11 and G12.
  • the relative position processing unit 813 acquires information of this touch operation on the operation unit 83, and designates the unmanned aircraft 100G11 and 100G12 corresponding to the UAV images G11 and G12 as the unmanned aircraft 100 for forming a flight group.
  • the relative position processing unit 813 does not acquire information on the touch operation on the UAV image G13 via the operation unit 83, the unmanned aircraft 100G for forming the flight group is used as the unmanned aircraft 100G13 corresponding to the UAV image G13.
  • the unmanned aircraft 100G for forming the flight group is used as the unmanned aircraft 100G13 corresponding to the UAV image G13.
  • FIG. 11 is a diagram illustrating an example of adjusting the horizontal position of the unmanned aircraft 100 on the positional relationship processing screen SG. In FIG. 11, you may show the positional relationship which looked at several selected unmanned aircraft 100 from upper direction.
  • the UAV images G11 and G12 selected on the positional relationship processing screen SG of FIG. 10 are displayed, and the UAV images G13 not selected are not displayed.
  • the operation unit 83 may accept a drag operation on the UAV image G12.
  • the relative position processing unit 813 acquires information of the drag operation on the operation unit 83, and changes the display position of the UAV image G12 according to the drag operation.
  • the distance of the unmanned aircraft 100G12 with respect to the unmanned aircraft 100G11 is a distance L1 (for example, 50 cm) along the x direction, and is a distance 0 along the y direction.
  • the relative position processing unit 813 adjusts the position of the UAV image G12 on the positional relationship processing screen SG via the operation unit 83.
  • a drag operation is performed from the UAV image G12a to the position of the UAV image G12b.
  • the display 88 may display relative position information (for example, distance information) in response to the drag operation. Thereby, the operator of the portable terminal 80 can specifically understand the distance changed by the drag operation.
  • an arrow ar drawn in each UAV image G12 indicates the direction of the imaging device 220 or 230, that is, the imaging direction. This is the same in the following.
  • the imaging device 220 may function as a main camera.
  • the imaging device 230 may function as a sub camera.
  • FIG. 12 is a diagram illustrating an example of adjusting the position in the height direction (gravity direction) of the unmanned aircraft 100 on the positional relationship processing screen SG. In FIG. 12, you may show the positional relationship which looked at the several selected unmanned aircraft 100 from the horizontal direction.
  • the UAV images G11 and G12 selected on the positional relationship processing screen SG1 of FIG. 10 are displayed, and the UAV images G13 not selected are not displayed.
  • the operation unit 83 may accept a drag operation on the UAV image G12.
  • the relative position processing unit 813 acquires information of the drag operation on the operation unit 83, and changes the display position of the UAV image G12 according to the drag operation.
  • the distance of the unmanned aircraft 100G12 with respect to the unmanned aircraft 100G11 is the distance L1 along the x direction and the distance L2 (for example, 80 cm) along the z direction.
  • the relative position processing unit 813 adjusts the position of the UAV image G12 on the positional relationship processing screen SG3 via the operation unit 83.
  • a drag operation may be performed from the UAVG 12a to the position of the UAV image G12b.
  • the positional relationship processing screens SG1, SG2, and SG3 are displayed in this order, and the relative position information may be determined and set in the order of the horizontal direction and the height direction.
  • the positional relationship processing screens SG1, SG3, and SG2 are displayed in this order, and relative position information may be determined and set in the order of the height direction and the horizontal direction.
  • the operator of the portable terminal 80 can check the display positions of the UAV images G11 and G12 corresponding to the actual unmanned aircraft 100G11 and 100G12 on the display 88 while The positions of the images G11 and G12 can be easily adjusted.
  • the portable terminal 80 can determine the relative positional relationship between the UAV image G11 and the UAV image G12 by this simple operation. Further, the operator of the mobile terminal 80 can recognize the position adjustment in the three-dimensional space (for example, the horizontal direction and the height direction) and adjust the relative positional relationship. Further, the operator of the portable terminal 80 can determine the distance between the unmanned aircraft 100G11 and 100G12 by an intuitive operation (for example, a drag operation) on the displayed screen.
  • an intuitive operation for example, a drag operation
  • the operation unit 83 may input a specific distance value between the unmanned aircraft 100G11 and 100G12.
  • the relative position processing unit 813 may determine this distance information (for example, 50 cm in the horizontal direction and 80 cm in the height direction) as relative position information. Thereby, the operator of the portable terminal 80 can determine relative position information without using the display 88.
  • the portable terminal 80 determines relative position information in the three-dimensional space including the horizontal direction and the height direction, thereby allowing the plurality of unmanned aircraft 100 to fly in the three-dimensional space that is a flight range.
  • a relative positional relationship can be defined. Therefore, the portable terminal 80 can determine relative position information in accordance with the actual flight of the unmanned aircraft 100.
  • the relative position information in the three-dimensional space is not limited to the determination, and the relative position information in the two-dimensional space may be determined.
  • the mobile terminal 80 determines at which position on the plane each unmanned aircraft 100 is arranged. Good.
  • FIG. 13 is a schematic diagram illustrating an example of a horizontal reference position of a plurality of unmanned aircraft 100 forming a flight group.
  • the flight group includes two unmanned aerial vehicles 100G11 and 100G12 corresponding to the UAV images G11 and G12.
  • a reference position for determining a relative positional relationship in the flight group is indicated by a reference position RP.
  • the horizontal reference position RP may be a horizontal intermediate position, center position, center of gravity position, or other reference position of the plurality of unmanned aircraft 100G11, 100G12 included in the same flight group.
  • FIG. 13 shows the horizontal center positions of the unmanned aerial vehicles 100G11 and 100G12 as an example of the reference position RP.
  • information on the horizontal positions of the unmanned aircraft 100G11, 100G12 with respect to the reference position RP may be included.
  • the relative position information of the unmanned aircraft 100G11 with respect to the reference position RP may include information that the distance is (1/2) ⁇ L1 in the ⁇ x direction.
  • the relative position information of the unmanned aircraft 100G12 with respect to the reference position RP may include information that the distance is (1/2) ⁇ L1 in the + x direction.
  • FIG. 14 is a schematic diagram illustrating an example of a reference position in the height direction of a plurality of unmanned aircraft 100 forming a flight group.
  • the flight group includes two unmanned aerial vehicles 100G11 and 100G12 corresponding to the UAV images G11 and G12.
  • a reference position for determining a relative positional relationship in the flight group is indicated by a reference position RP.
  • the reference position RP in the height direction may be an intermediate position in the height direction, a center position, a gravity center position, and other reference positions of the plurality of unmanned aircraft 100G11 and 100G12 included in the same flight group.
  • FIG. 14 shows the center positions in the height direction of the unmanned aerial vehicles 100G11 and 100G12 as an example of the reference position RP.
  • information on the position in the height direction of each of the unmanned aircraft 100G11, 100G12 with respect to the reference position RP may be included.
  • the relative position information of the unmanned aircraft 100G11 with respect to the reference position RP may include information that the distance is (1/2) ⁇ L2 in the ⁇ z direction.
  • the relative position information of the unmanned aircraft 100G12 with respect to the reference position RP may include information that the distance is (1/2) ⁇ L2 in the + z direction.
  • the relative position processing unit 813 may determine the relative position information of each unmanned aircraft 100 with respect to the reference position RP.
  • the portable terminal 80 can easily generate relative position information based on the difference between each unmanned aircraft 100 and the reference position RP.
  • the mobile terminal 80 can have a flight form based on the reference position of the flight group. Therefore, the portable terminal 80 can provide a flight method in which the flight mode of the single unmanned aircraft 100 is simply expanded to a plurality of unmanned aircraft 100, and the operator of the transmitter 50 can Operation can be facilitated.
  • the relative position processing unit 813 may include identification information of the unmanned aircraft 100G11 and 100G12 in the relative position information of the plurality of unmanned aircraft 100G11 and 100G12 together with information on at least one distance in the horizontal direction and the height direction.
  • the relative position information may include identification information of unmanned aircraft 100G11 and 100G12 and distance information in association with each other.
  • the identification information of the unmanned aircraft 100 may be, for example, an individual identification number given at the time of manufacture, a user identification number set for the operator, or other identification information.
  • the relative position information may include the identification information of the unmanned aircraft 100G11 and 100G12 and the relative position information of the unmanned aircraft 100G11 and 100G12 in association with each other.
  • the flight system 10 can prescribe which position the unmanned aircraft 100 should fly with respect to the reference position RP or the like during the flight of the unmanned aircraft 100G11 or the flight operation by the transmitter 50.
  • FIG. 15 is a schematic diagram showing a first arrangement determination example of a plurality of unmanned aircraft 100 forming a flight group.
  • UAV images G11, G12, G13, and G14 that is, unmanned aircraft 100G11, 100G12, 100G13, and 100G14 are arranged symmetrically around the reference position RP with the reference position RP as the center position.
  • each unmanned aerial vehicle 100G11, 100G12, 100G13, 100G14 is arranged at a square apex having a side length of L3.
  • the UAV image G11 corresponding to the unmanned aircraft 100G11 is the center position on the xy coordinates.
  • Unmanned aerial vehicle 100G11 may be unmanned aerial vehicle 100 in which flight control is instructed by transmitter 50 to which portable terminal 80 that processes relative position information is attached.
  • the + y direction may be the traveling direction when the flight group moves forward.
  • FIG. 16 is a schematic diagram showing a second arrangement determination example of a plurality of unmanned aircraft 100 forming a flight group.
  • the second sequence determination example is substantially the same as the first sequence determination example, but in FIG. 16, the reference position RP is the center position on the xy coordinates.
  • information indicating that the position of the unmanned aircraft 100G11 with respect to the reference position RP is a distance of (1 / ⁇ 2) ⁇ L3 in a direction inclined by 45 ° from the + y direction to the ⁇ x direction is relative position information. May be included.
  • the respective positions of the unmanned aircraft 100G12, 100G13, 100G14 with respect to the reference position RP may also be included in the relative position information.
  • the + y direction may be the traveling direction when the flight group moves forward.
  • FIG. 17 is a schematic diagram illustrating a third arrangement determination example of a plurality of unmanned aircraft 100 forming a flight group.
  • the orientation of each imaging device 220 or 230 included in each unmanned aircraft 100 is different, and the imaging direction captured by each imaging device 220 or 230 is different.
  • the relative position processing unit 813 determines relative position information of the plurality of unmanned aircraft 100
  • the imaging information processing unit 814 determines information on the imaging direction of each of the plurality of unmanned aircraft 100.
  • the imaging information processing unit 814 may determine information on the imaging direction of each unmanned aircraft 100 based on the number of unmanned aircraft 100 forming the flight group.
  • the imaging information processing unit 814 may store and acquire the number of unmanned aircraft 100 designated as the same flight group in the memory 87.
  • the imaging information processing unit 814 calculates information of imaging directions different by 90 degrees by equally dividing 360 degrees that is one revolution into four. You may decide. In addition, the imaging information processing unit 814 may determine the imaging direction information in which the imaging direction of each of the unmanned aircraft 100 is the direction in which each of the plurality of unmanned aircraft 100 is viewed from the reference position RP.
  • the unmanned aircraft 100G11 has an imaging direction as an upward direction (for example, a traveling direction when the flight group moves forward), the unmanned aircraft 100G12 has an imaging direction as a right direction, and the unmanned aircraft 100G13 has an imaging direction as a downward direction.
  • the information of the imaging direction in which 100G14 has the left direction as the imaging direction may be determined.
  • the imaging information processing unit 814 may determine information on the angle of view of each imaging device 220 or 230 included in each unmanned aircraft 100.
  • the imaging range is determined according to the angle of view.
  • the imaging information processing unit 814 may determine information on the angle of view of each imaging device 220 or 230 included in each unmanned aircraft 100 based on the number of unmanned aircraft 100 forming the flight group. When the number of unmanned aircraft 100 forming the flight group is four, the imaging information processing unit 814 calculates and determines information on the angle of view as 90 degrees or more obtained by equally dividing 360 degrees that is one lap into four. It's okay.
  • the image processing apparatus acquires these captured images and performs predetermined image processing, whereby a panoramic image or a stereo image with the periphery of the flight group as a subject can be obtained.
  • FIG. 18 is a schematic diagram illustrating a fourth arrangement determination example of a plurality of unmanned aircraft 100 forming a flight group.
  • the fourth arrangement determination example is substantially the same as the third arrangement determination example, but assumes that the number of unmanned aircraft 100 forming the flight group is three.
  • unmanned aerial vehicles 100G11, 100G12, and 100G13 corresponding to the UAV images G11, G12, and G13 are arranged at the positions of vertices of equilateral triangles, respectively. Therefore, the imaging information processing unit 814 may calculate and determine information about different imaging directions by 120 degrees obtained by equally dividing 360 degrees that is one revolution into three.
  • the unmanned aircraft 100G11 has the imaging direction as the imaging direction, and the unmanned aircraft 100G12 rotates the imaging direction of the unmanned aircraft 100G11 clockwise by 120 degrees in the imaging direction.
  • the unmanned aircraft 100G13 may determine information on an imaging direction in which the imaging direction is a direction obtained by rotating the imaging direction of the unmanned aircraft 100G12 clockwise by 120 degrees.
  • the imaging information processing unit 814 may calculate and determine the information on the angle of view as 120 degrees or more obtained by equally dividing 360 degrees that is one round into three. Thereby, when each unmanned aerial vehicle 100 captures an image, a captured image of 360 degrees around the flight group is obtained. Therefore, the image processing apparatus (for example, the portable terminal 80) acquires these captured images and performs predetermined image processing, whereby a panoramic image or a stereo image with the periphery of the flight group as a subject can be obtained.
  • FIG. 19 is a schematic diagram illustrating a fifth arrangement determination example of a plurality of unmanned aircraft 100 forming a flight group.
  • a plurality of unmanned aircraft 100G11 to 100G14 may be arranged asymmetrically with respect to the reference position RP, and relative position information may be determined. Further, the information on the imaging direction may be determined so that the imaging directions of the unmanned aerial vehicles 100G11 to 100G14 are uneven and irregular.
  • the imaging information processing unit 814 may acquire imaging parameters including the imaging direction and angle of view of each unmanned aircraft 100 as input information via the operation unit 83 instead of determining the imaging parameters based on the number of unmanned aircraft 100. . Thereby, even when it is difficult to uniformly determine the imaging direction and the angle of view by calculation or the like, such as when there is no symmetry, the mobile terminal 80 individually sets the imaging parameters for the plurality of unmanned aircraft 100. Can be determined.
  • parameters such as relative position information and imaging direction having symmetry, uniformity, or regularity are determined and set, but also have asymmetry, nonuniformity, or irregularity.
  • Parameters such as relative position information and imaging direction may be determined and set.
  • Parameters such as relative position information and imaging direction may be set and held in each of the unmanned aircraft 100G11 to 100G14 before flight. Thereby, each of the unmanned aircraft 100G11 to 100G14 forming the same flight group can fly in a coordinated manner while maintaining the imaging direction and angle of view indicated by the set relative position information and imaging parameters.
  • FIG. 20 is a flowchart illustrating an operation example of the flight system 10.
  • the position information acquisition unit 812 designates a plurality of unmanned aircraft 100 that forms the same flight group from among the plurality of unmanned aircraft 100 (S11).
  • the relative position processing unit 813 determines relative position information of the plurality of unmanned aircraft 100 belonging to the same flight group (S12).
  • the imaging information processing unit 814 may determine imaging parameters (for example, imaging direction and angle of view information) by each of the plurality of unmanned aircraft 100 (S13).
  • the wireless communication unit 85 or the interface unit 82 may transmit determination information (for example, relative position information and imaging parameters) to each of the plurality of unmanned aircraft 100 (S14).
  • the communication interface 150 receives the determination information from the portable terminal 80 (S15).
  • the UAV control unit 110 sets the decision information by holding the received decision information in the memory 160 (S16). Therefore, relative position information and imaging parameters are set.
  • the relative position information may be set in each unmanned aerial vehicle 100 (stored in the memory 160) before the plurality of unmanned aircraft 100 fly in cooperation.
  • the decision information is transmitted by the portable terminal 80, but the decision information may be output by other methods.
  • the processor 81 may record the determination information on an arbitrary recording medium. In this case, even when communication between the unmanned aircraft 100 and the portable terminal 80 is impossible, determination information can be set for each unmanned aircraft 100 via the recording medium.
  • the portable terminal 80 when the control of the flight is instructed by the transmitter 50 during the flight of the unmanned aircraft 100, the relative position information of the plurality of unmanned aircraft 100 belonging to the flight group can be determined. This determined information may be set in the unmanned aircraft 100. Therefore, in the portable terminal 80, the unmanned aircraft 100 is operated by the transmitter 50 so that a plurality of unmanned aircraft 100 can fly in cooperation even if the flight route or the flight position is not set in advance. Can be made possible. Therefore, even when the unmanned aerial vehicle 100 flies in cooperation, the portable terminal 80 can specify the flight route and the like in real time by the transmitter 50, and can improve the degree of freedom of the unmanned aircraft during the cooperative flight. Moreover, the portable terminal 80 can fly a plurality of unmanned aircrafts in cooperation with one transmitter 50 by providing relative position information to each unmanned aircraft 100 of the flight group.
  • the flight system 10 it is possible to determine the relative position information of the plurality of unmanned aircraft 100 belonging to the flight group when the transmitter 50 instructs flight control during the flight of the unmanned aircraft 100. This determined information may be set in the unmanned aircraft 100. Therefore, in the flight system 10, the unmanned aircraft 100 is operated by the transmitter 50 so that a plurality of unmanned aircraft 100 fly in cooperation even if the flight route or flight position is not set in advance. Can be made possible. Therefore, the flight system 10 can specify a flight route or the like in real time by the transmitter 50 even when the unmanned aircraft 100 flies in cooperation, and can improve the degree of freedom of the unmanned aircraft during the coordinated flight. it can. In addition, the flight system 10 can provide the relative position information to each unmanned aircraft 100 of the flight group, thereby allowing a plurality of unmanned aircraft to fly in cooperation with one transmitter 50.
  • the portable terminal 80 detects position information of a plurality of unmanned aircraft 100 placed in a predetermined area by GPS or the like, displays the position information on the display 88, and relatively displays the UAV images G11 to G13 by touch operation or drag operation. The adjustment of the positional relationship was explained. Instead, the relative position processing unit 813 calculates the difference between the plurality of position information from the plurality of position information (absolute position information) detected by the GPS or the like in each of the plurality of unmanned aircraft 100. The difference may be determined as relative position information of the plurality of unmanned aircraft 100.
  • the mobile terminal 80 may determine the relative position information of the plurality of unmanned aircraft 100 without using the operation unit 83 based on the acquired position information such as GPS. This eliminates the need for a special operation for determining relative position information, and improves user convenience.
  • the transmitter 50 may have a function that the portable terminal 80 has. In this case, the transmitter 50 may be omitted. Further, the portable terminal 80 may have a function that the transmitter 50 has. In this case, the transmitter 50 may be omitted.
  • the relative position information may be the relative position information described in the first embodiment.
  • FIG. 21 is a schematic diagram illustrating a configuration example of a flight system 10A according to the second embodiment.
  • the flight system 10A includes an unmanned aerial vehicle 100A, a transmitter 50A, and a portable terminal 80A.
  • Unmanned aerial vehicle 100A, transmitter 50A, and portable terminal 80A can communicate with each other by wired communication or wireless communication (for example, wireless LAN (Local Area Network)).
  • wireless LAN Local Area Network
  • FIG. 22 is a block diagram illustrating an example of a hardware configuration of the unmanned aerial vehicle 100A.
  • the unmanned aerial vehicle 100A includes a memory 160A instead of the memory 160, as compared with the unmanned aerial vehicle 100 in the first embodiment.
  • the same reference numerals are given to the same configurations as those of the unmanned aircraft 100 of FIG. 4, and the description thereof is omitted or simplified.
  • the memory 160 ⁇ / b> A has the function of the memory 160 and holds cooperative control information CC.
  • the cooperative control information CC includes control information for a plurality of unmanned aircraft 100A belonging to the same flight group to fly in cooperation.
  • the cooperative control information CC includes relative position information of a plurality of unmanned aircraft 100A belonging to the same flight group. This relative position information may include distance information indicating the distance between the reference position RP and each unmanned aircraft 100A. This relative position information may include direction information indicating the direction in which each unmanned aerial vehicle 100A is viewed from the reference position RP.
  • the cooperative control information CC may include imaging parameters (for example, imaging direction information and angle of view information).
  • the cooperative control information CC is held in the memory 160A before the plurality of unmanned aircraft 100A performs cooperative flight by the flight operation of the transmitter 50A.
  • the memory 160A may hold a plurality of different cooperative control information CC for the same flight group. That is, the memory 160A may hold a plurality of different relative position information for the same flight group.
  • FIG. 23 is a block diagram illustrating an example of a functional configuration of the UAV control unit 110A.
  • the UAV control unit 110A includes a signal acquisition unit 111, a first relative position acquisition unit 112, a first absolute position acquisition unit 113, a second absolute position acquisition unit 114, a captured image acquisition unit 115, a second relative position acquisition unit 116, an image
  • An angle information acquisition unit 117, an operation mode setting unit 118, a flight control unit 119, and an imaging control unit 120 are provided.
  • the signal acquisition unit 111 is an example of a first acquisition unit.
  • the first relative position acquisition unit 112 is an example of a first acquisition unit.
  • the first absolute position acquisition unit 113 is an example of a calculation unit.
  • the second absolute position acquisition unit 114 is an example of a second acquisition unit.
  • the second relative position acquisition unit 116 is an example of a calculation unit.
  • the captured image acquisition unit 115 is an example of a first acquisition unit.
  • the angle-of-view information acquisition unit 117 is an example of a first acquisition unit.
  • the flight control unit 119 is an example of a control unit.
  • the imaging control unit 120 is an example of a control unit.
  • the signal acquisition unit 111 acquires various signals.
  • the signal acquisition unit 111 may acquire an instruction signal from the transmitter 50A via the communication interface 150.
  • the instruction signal may be a signal that instructs flight control of the unmanned aircraft 100A.
  • the instruction signal may include throttle instruction information for raising or lowering the unmanned aircraft 100A.
  • the instruction signal may include pitch instruction information for moving the unmanned aircraft 100A forward or backward.
  • the instruction signal may include roll instruction information for causing the unmanned aircraft 100A to travel rightward (also referred to as “rightward”) or leftward (also referred to as “leftward”).
  • the instruction signal may include ladder instruction information (an example of turning instruction information) for making the unmanned aircraft 100A turn right or left.
  • the first relative position acquisition unit 112 acquires relative position information of a plurality of unmanned aircraft 100A belonging to the same flight group.
  • the first relative position acquisition unit 112 may acquire relative position information from the memory 160.
  • the first relative position acquisition unit 112 may acquire relative position information from an external device (for example, the transmitter 50A) via the communication interface 150.
  • the relative position information may include relative position information of the unmanned aircraft 100A (own aircraft) with respect to the reference position RP with reference to the reference position RP in the flight group.
  • the relative position information may include relative position information of the other unmanned aircraft 100A (other aircraft) with respect to the reference position RP.
  • the reference position RP may be an intermediate position, a center position, a center of gravity position, or other reference position of a plurality of unmanned aircraft 100A included in the same flight group.
  • the relative position information may include relative position information of the unmanned aircraft 100A (own aircraft) with respect to the arbitrary unmanned aircraft 100A with respect to the arbitrary unmanned aircraft 100A in the flight group. That is, the position where any unmanned aircraft 100A exists may be set as the reference position RP.
  • the relative position information may include relative position information of another unmanned aircraft 100A (another aircraft) with respect to the arbitrary unmanned aircraft 100A with respect to the arbitrary unmanned aircraft 100A in the flight group.
  • the first relative position acquisition unit 112 When the first relative position acquisition unit 112 includes the relative position information of the own aircraft and the relative position information of the other aircraft, the first relative position acquisition unit 112 refers to the identification information of the unmanned aircraft 100A associated with the relative position information, You may identify and acquire the relative position information of the own machine.
  • the first absolute position acquisition unit 113 based on the position information of the reference position RP and the relative position information of the unmanned aircraft 100A with respect to the reference position, position information (absolute position information) of the unmanned aircraft 100A (second flight) An example of position information) may be generated (for example, calculated).
  • position information of the reference position may be included in the instruction information from the transmitter 50A, or may be held in the memory 160 as a past calculation result.
  • the second absolute position acquisition unit 114 may acquire the position information (an example of first flight position information) of the unmanned aircraft 100A acquired by the GPS receiver 240.
  • the second absolute position acquisition unit 114 may acquire position information of the unmanned aerial vehicle 100A obtained by a device other than the GPS receiver 240.
  • the captured image acquisition unit 115 may acquire a captured image captured by the imaging device 220 or 230 of the unmanned aircraft 100A.
  • a captured image captured by the imaging device 220 or 230 of another unmanned aircraft 100A may be acquired via the communication interface 150.
  • the captured image acquisition unit 115 may acquire a captured image held in the memory 160.
  • the captured image held in the memory 160 may be a captured image captured by the unmanned aircraft 100A or a captured image captured by another unmanned aircraft 100A.
  • the second relative position acquisition unit 116 acquires relative position information with respect to an arbitrary object (for example, another unmanned aircraft 100A).
  • the second relative position acquisition unit 116 may acquire distance information indicating a distance to an arbitrary object.
  • the second relative position acquisition unit 116 may acquire distance information obtained by the ultrasonic sensor 280.
  • the second relative position acquisition unit 116 may acquire distance information obtained by the laser measuring device 290.
  • the second relative position acquisition unit 116 may acquire a captured image from the captured image acquisition unit 115.
  • the second relative position acquisition unit 116 may calculate and acquire relative position information of the unmanned aircraft 100A with respect to a specific object (for example, another unmanned aircraft 100A) included in the captured image based on the captured image.
  • the second relative position acquisition unit 116 may calculate the distance to the specific object by extracting the size of the specific object with respect to the captured image, and acquire the distance information. If information on the actual size of a specific object is stored in the memory 160 or the like in advance, distance information can be acquired.
  • the second relative position acquisition unit 116 may calculate and acquire the direction in which the specific object is present with respect to the unmanned aircraft 100A according to the position of the region where the specific object is reflected in the captured image.
  • the second relative position acquisition unit 116 may calculate distance information to a specific object reflected in the plurality of captured images using the plurality of acquired captured images as a stereo image. In this case, distance information can be acquired even if the actual size of a specific object is unknown. For example, it is assumed that, among three unmanned aircraft 100A belonging to the same flight group, one unmanned aircraft in the front and two unmanned aircraft in the rear fly. In this case, the second relative position acquisition unit 116 allows the two unmanned aircrafts 100A at the rear to image the one unmanned aircraft 100A at the front, for example, in accordance with the trigonometry, to the front with respect to the two unmanned aircrafts 100A at the rear.
  • the relative position information (for example, information on distance and direction) of the single unmanned aircraft 100A may be acquired.
  • the angle-of-view information acquisition unit 117 may acquire the angle-of-view information of the imaging device 220 or 230 from the imaging device 220 or 230 included in the unmanned aircraft 100A.
  • the angle-of-view information acquisition unit 117 may acquire angle-of-view information of the imaging device 220 or 230 included in the other unmanned aircraft 100A from the other unmanned aircraft 100A via the communication interface 150.
  • Operation mode setting unit 118 sets an operation mode during flight of unmanned aircraft 100A.
  • the operation mode may include a single operation mode for the unmanned aircraft 100A to fly alone. In the single operation mode, one unmanned aerial vehicle 100A flies individually based on the instruction signal acquired from the transmitter 50A.
  • the operation mode may include a cooperative operation mode for a plurality of unmanned aircraft 100A included in the same flight group to fly in cooperation. In the cooperative operation mode, the plurality of unmanned aircraft 100A in the same flight group fly in cooperation based on the instruction signal acquired from one transmitter 50A.
  • unmanned aerial vehicle 100A can determine whether or not to fly in cooperation when a plurality of unmanned aircraft 100A fly based on whether the operation mode is set to the cooperative operation mode or the single operation mode.
  • the operation mode may be set, for example, via an operation unit (not shown) of the unmanned aircraft 100, or may be set based on instruction information from the transmitter 50A.
  • the cooperative operation mode may include a turning mode for turning (rotating) a plurality of unmanned aircraft 100A belonging to the same flight group.
  • the turning mode may include a plurality of turning modes and indicate a turning mode.
  • the first turning mode may be a turning mode in which each unmanned aircraft 100A turns around the reference position RP with the distance between each unmanned aircraft 100A and the reference position RP fixed. That is, in the first turning mode, the absolute position of each unmanned aircraft 100A may change and further turning may be performed.
  • the second turning mode may be a turning mode in which the position of each unmanned aircraft 100A is fixed and each unmanned aircraft 100A turns around each unmanned aircraft 100A. That is, in the second turning mode, the absolute position of each unmanned aircraft 100A does not change, and turning may be performed.
  • the flight control unit 119 controls the flight of the unmanned aircraft 100A (own aircraft) by fixing the relative positional relationship between the plurality of unmanned aircraft 100A belonging to the same flight group.
  • the flight control unit 119 may control the flight of the unmanned aircraft 100A (own aircraft) by fixing the relative positional relationship of the unmanned aircraft 100A with respect to the reference position RP.
  • the relative positional relationship of each unmanned aircraft 100A belonging to the flight group with respect to the reference position RP is fixed, the relative positional relationship as a whole of the plurality of unmanned aircraft 100A belonging to the flight group is also fixed.
  • the fixing of the relative positional relationship may include maintaining the distance of the unmanned aircraft 100A with respect to the reference position RP without changing it.
  • Fixing the relative positional relationship may include maintaining the imaging direction of the imaging device 220 or 230 with respect to a reference direction (for example, the traveling direction when the flight group moves forward) without being changed.
  • the flight control unit 119 controls the flight of the unmanned aircraft 100A while maintaining the relative positional relationship of the unmanned aircraft 100A based on the instruction signal from the transmitter 50A. Therefore, the flight control unit 119 may perform flight control of ascent and descent while maintaining the relative positional relationship of each unmanned aircraft 100A based on the throttle instruction information from the transmitter 50A. The flight control unit 119 may perform forward and backward flight control while maintaining the relative positional relationship of each unmanned aircraft 100A based on the pitch instruction information from the transmitter 50A. The flight control unit 119 may perform rightward or leftward flight control while maintaining the relative positional relationship of each unmanned aircraft 100A based on the roll instruction information from the transmitter 50A. The flight control unit 119 may perform the right-handed or left-turned flight control while maintaining the relative positional relationship of each unmanned aircraft 100A based on the ladder instruction information from the transmitter 50A.
  • the control amount of the flight of the unmanned aircraft 100A based on the instruction signal from the transmitter 50A may be the same control amount for each of the plurality of unmanned aircraft 100A.
  • the turning amount and turning angle that each unmanned aircraft 100A turns may be the same.
  • the flight control unit 119 controls the flight of the unmanned aircraft 100A by fixing the relative positional relationship between the plurality of unmanned aircraft 100A belonging to the same flight group. Good.
  • the flight control unit 119 may control the flight of the unmanned aircraft 100A without fixing the relative positional relationship when the operation mode is not set to the cooperative operation mode.
  • the flight control unit 119 changes the turning method of each unmanned aircraft 100A belonging to the same flight group based on which turning mode the turning mode is set to. It's okay.
  • Flight control unit 119 may control the unmanned aircraft 100A to turn around the reference position RP by fixing the distance between each unmanned aircraft 100A and the reference position RP in the first turning mode. That is, the flight control unit 119 may change the position of each unmanned aircraft 100A and further turn each unmanned aircraft 100A in the first turning mode.
  • the flight control unit 119 may fix the position of each unmanned aircraft 100A and control each unmanned aircraft 100A to turn around each unmanned aircraft 100A. That is, the flight control unit 119 may turn each unmanned aircraft 100A without changing the absolute position of each unmanned aircraft 100A in the second turning mode.
  • the flight control unit 119 may perform flight control on a plurality of unmanned aircraft 100A as different relative positional relationships based on a plurality of different relative position information on the same flight group. Therefore, the unmanned aircraft 100A may change the relative positional relationship between the plurality of unmanned aircraft 100A by changing the relative position information to be used.
  • the imaging control unit 120 may control the angle of view of the imaging device 220 or 230 included in the unmanned aircraft 100A based on the number of unmanned aircraft 100A belonging to the same flight group. . Information on the number of unmanned aircraft 100A belonging to the same flight group may be stored in the memory 160. The imaging control unit 120 may acquire information on the number of unmanned aircraft 100A from the memory 160.
  • the imaging control unit 120 may acquire the angle of view information included in the imaging parameters held in the memory 160, and may control the angle of view of the imaging device 220 or 230 based on the angle of view information.
  • the imaging control unit 120 may calculate and obtain the angle of view of the imaging device 220 or 230. For example, when the number of unmanned aircraft 100A that forms the same flight group is four, the imaging control unit 120 divides 360 degrees, which is one lap, into four equal parts by dividing 90 degrees or more into four unmanned aircraft 100A. You may calculate as each angle of view. In this case, the imaging control unit 120 may control the angle of view of each of the four unmanned aircraft 100A to be 90 degrees or more. For example, when the number of unmanned aircraft 100A forming the same flight group is three, the imaging control unit 120 can divide 360 degrees, which is one lap, into three equal parts by dividing 120 degrees or more into three unmanned aircraft 100A. You may calculate as each angle of view. In this case, the imaging control unit 120 may control the angle of view of each of the three unmanned aircraft 100A to be 120 degrees or more.
  • the imaging control unit 120 may control the imaging direction of the imaging device 220 or 230 included in the unmanned aircraft 100A based on the number of unmanned aircraft 100A belonging to the same flight group. .
  • the imaging control unit 120 may acquire information on the imaging direction included in the imaging parameters held in the memory 160 and may control the imaging direction of the imaging device 220 or 230 based on the information on the imaging direction.
  • the imaging control unit 120 may calculate and acquire the imaging direction of the imaging device 220 or 230. For example, when the number of unmanned aircraft 100A forming the same flight group is four, the imaging control unit 120 calculates and acquires different imaging directions by 90 degrees obtained by equally dividing 360 degrees of one revolution into four. It's okay. When the number of unmanned aircraft 100A forming the same flight group is three, the imaging control unit 120 may calculate and acquire different imaging directions by 120 degrees obtained by equally dividing 360 degrees, which is one lap, into three. . The imaging control unit 120 may control the imaging direction of the imaging device 220 or 230 so that the calculated imaging direction is obtained.
  • the imaging control unit 120 may control the imaging direction so that the direction in which each position of the plurality of unmanned aircraft 100A is viewed from the reference position RP of the flight group is the imaging direction of each unmanned aircraft 100A.
  • FIG. 24 is a block diagram illustrating an example of a functional configuration of the mobile terminal 80A.
  • the processor 81 ⁇ / b> A has functions of a captured image acquisition unit 816 and an image processing unit 817 by executing a program stored in the memory 87.
  • the captured image acquisition unit 816 acquires each captured image captured by each of the plurality of unmanned aircraft 100A forming the same flight group.
  • the captured image acquisition unit 816 may acquire each captured image via the interface unit 82 or the wireless communication unit 85.
  • the image processing unit 817 performs arbitrary image processing on the plurality of captured images acquired by the captured image acquisition unit 816.
  • the image processing unit 817 may generate a panoramic image or a stereo image based on a plurality of captured images.
  • the image processing unit 817 may generate a panoramic image by combining a plurality of captured images having different imaging directions. When 360 degree omnidirectional is covered by a plurality of images, the image processing unit 817 can generate an omnidirectional panoramic image.
  • the image processing unit 817 may generate a stereo image when the imaging ranges of two captured images adjacent to each other in the imaging direction included in the plurality of captured images partially overlap. When the imaging ranges of two adjacent captured images partially overlap and the 360 ° omnidirectional is covered by the plurality of images, the image processing unit 817 can generate an omnidirectional stereo image.
  • image processing such as generation of a panoramic image or a stereo image based on the captured image may be performed by a device other than the mobile terminal 80A.
  • This image processing may be performed by the transmitter 50A, any one or more unmanned aircraft 100A, and a PC (Personal Computer) (not shown).
  • a captured image captured by each unmanned aircraft 100A may be stored in an SD card as the memory 160 provided in each unmanned aircraft 100A.
  • a plurality of captured images stored in an SD card may be taken into a PC or the like and processed.
  • the flight control unit 119 may control the flight of the unmanned aircraft 100A based on the instruction signal from the transmitter 50A. In this case, the flight control unit 119 may control the number of rotations (the number of rotations per unit time) of each rotor blade 211.
  • FIG. 25 is a diagram for explaining a method of rotating the rotor blade 211 in accordance with the type of instruction signal from the transmitter 50A.
  • the direction opposite to the direction in which the battery 103 is attached to the UAV main body 102 (the direction of the arrow ⁇ ) is the forward direction of the unmanned aircraft 100A.
  • the direction of travel This is the traveling direction when the unmanned aerial vehicle 100A moves forward.
  • the four rotary blades 211 may include rotary blades 211a, 211b, 211c, and 211d.
  • the rotor blades 211a and 211b may rotate counterclockwise, and the rotor blades 211b and 211b may rotate counterclockwise.
  • the instruction signal from the transmitter 50A may include at least one of throttle instruction information, pitch instruction information, roll instruction information, and ladder instruction information.
  • the flight control unit 119 controls the rotational speeds of the four rotor blades 211a, 211b, 211c, and 211d.
  • the throttle instruction information may include ascending instruction information and descending instruction information.
  • the flight control unit 119 increases the rotational speeds of the four rotor blades 211a to 211d.
  • the flight control unit 119 receives the lowering instruction information, the flight control unit 119 decreases the rotational speeds of the four rotor blades 211a to 211d.
  • the unmanned aircraft 100A descends.
  • the flight control unit 119 may control the rotational speeds of the rotor blades 211a and 211b positioned behind the unmanned aircraft 100A or the rotor blades 211c and 211d positioned in front of the unmanned aircraft 100A.
  • the pitch instruction information may include forward instruction information and backward instruction information.
  • the flight control unit 119 increases the rotational speeds of the two rotor blades 211a and 211b.
  • the rotational speeds of the two rotor blades 211a and 211b increase, the unmanned aircraft 100A moves forward in the direction of the arrow ⁇ .
  • the flight control unit 119 When the flight control unit 119 receives the backward instruction information, the flight control unit 119 increases the rotational speeds of the two rotor blades 211c and 211d. When the rotational speed of the two rotor blades 211c and 211d increases, the unmanned aircraft 100A moves backward.
  • the flight control unit 119 may control the rotational speeds of the rotor blades 211a and 211c located on the left side of the unmanned aircraft 100A or the rotor blades 211b and 211d located on the right side of the unmanned aircraft 100A.
  • the roll instruction information may include rightward instruction information and leftward instruction information.
  • the flight control unit 119 increases the rotational speeds of the two rotor blades 211a and 211c.
  • the rotational speeds of the two rotor blades 211a and 211c increase, the unmanned aircraft 100A moves to the right.
  • the flight control unit 119 When the flight control unit 119 receives the leftward instruction information, the flight control unit 119 increases the rotational speeds of the two rotor blades 211b and 211d. When the rotational speed of the two rotor blades 211b and 211d increases, the unmanned aircraft 100A moves left.
  • the flight control unit 119 may control the rotational speeds of the rotary blades 211a and 211d or the rotary blades 211b and 211c located on the diagonal line of the unmanned aircraft 100A.
  • the ladder instruction information may include right turn instruction information and left turn instruction information.
  • the flight control unit 119 increases the rotation speeds of the two rotor blades 211b and 211c.
  • the unmanned aircraft 100A turns right.
  • the flight control unit 119 When the flight control unit 119 receives the left turn instruction information, the flight control unit 119 increases the rotational speeds of the two rotary blades 211a and 211d. When the rotational speeds of the two rotor blades 211a and 211d increase, the unmanned aircraft 100A makes a left turn.
  • the flight control unit 119 matches the relative position information included in the cooperative control information CC held (set) in the memory 160 with the relative position information acquired by the second relative position acquisition unit 116. As such, the flight of the unmanned aircraft 100A may be controlled.
  • the relative position information included in the cooperative control information CC is information obtained before the flight, and can be said to be a predicted value of the relative position information when the cooperative flight is performed.
  • the relative position information acquired by the second relative position acquisition unit 116 is information obtained based on some information during the flight, and can be said to be an actual measurement value of the relative position information when actually performing the cooperative flight.
  • the relative position information acquired by the second relative position acquisition unit 116 may be information acquired based on a captured image obtained by capturing the direction of the other unmanned aircraft 100A from the unmanned aircraft 100A.
  • the flight control unit 119 may perform the flight control by feedback so that the distance information and the direction information between the unmanned aircraft 100A and the other unmanned aircraft 100A obtained from the captured image are constant. Thereby, distance information and direction information are maintained constant, and the relative positional relationship between the unmanned aircraft 100A and the other unmanned aircraft 100A can be maintained.
  • the captured image it is only necessary to provide the imaging device 220 or 230, and special sensors (for example, the GPS receiver 240, the ultrasonic sensor 280, and the laser measuring device 290) are used to maintain the relative positional relationship. It is not necessary to provide it.
  • the relative position information included in the cooperative control information CC may be distance information between the unmanned aircraft 100A and another unmanned aircraft 100A.
  • the relative position information acquired by the second relative position acquisition unit 116 may be distance information between the unmanned aircraft 100A and another unmanned aircraft 100A. That is, the flight control unit 119 may control the flight of the unmanned aircraft 100A so that the distance information included in the cooperative control information CC matches the distance information acquired by the second relative position acquisition unit 116. .
  • the distance information included in the cooperative control information CC is information obtained before the flight, and can be said to be a predicted value of the distance information when the cooperative flight is performed.
  • the distance information acquired by the second relative position acquisition unit 116 is information obtained based on some information during the flight, and can be said to be an actual measurement value of the distance information when actually performing the coordinated flight.
  • the flight control unit 119 may perform flight control by feedback so that distance information between the unmanned aircraft 100A and the other unmanned aircraft 100A obtained by the ultrasonic sensor 280 or the laser measuring device 290 is constant. Thereby, the distance information is maintained constant, and the relative positional relationship between the unmanned aircraft 100A and the other unmanned aircraft 100A can be maintained. Further, the unmanned aircraft 100A can acquire more accurate distance information by using the ultrasonic sensor 280 and the laser measuring device 290.
  • the flight control unit 119 matches the position information of the unmanned aircraft 100A acquired by the first absolute position acquisition unit 113 with the position information of the unmanned aircraft 100A acquired by the second absolute position acquisition unit 114.
  • the flight of the unmanned aircraft 100A may be controlled.
  • the position information of the unmanned aerial vehicle 100A acquired by the first absolute position acquisition unit 113 is information obtained before the flight, and can be said to be a predicted value of the information on the absolute position of the unmanned aircraft 100A in the case of coordinated flight.
  • the position information of the unmanned aerial vehicle 100A acquired by the second relative position acquisition unit 116 is information obtained based on some information during the flight, and actual measurement of information on the absolute position of the unmanned aircraft 100A at the time of actual cooperative flight. It can also be said to be a value.
  • the flight control unit 119 performs feedback control and flight control so that the position information of the unmanned aircraft 100A obtained by the GPS receiver 240 and the like matches the position information of the unmanned aircraft 100A based on the relative position information before the flight. It's okay. Thereby, the relative positional relationship between unmanned aircraft 100A and other unmanned aircraft 100A can be maintained. Further, since the GPS receiver 240 and the like are relatively easy to mount, the relative positional relationship can be easily maintained.
  • the flight control unit 119 maintains the difference between the angle of view information of the unmanned aircraft 100A (own aircraft) acquired by the angle of view information acquisition unit 117 and the angle of view information of the other unmanned aircraft 100A (other aircraft).
  • the flight of the unmanned aircraft 100A may be controlled.
  • the relative positional relationship changes, for example, the angle of view when the same subject is imaged by each imaging device 220 or 230 provided in each of the plurality of unmanned aircraft 100A changes. Therefore, the difference in the angle of view of each imaging device 220 or 230 changes.
  • the flight control unit 119 can maintain the relative positional relationship of the plurality of unmanned aircraft 100A by performing feedback control in the flight of the unmanned aircraft 100A so that the difference in the angle of view becomes constant. Further, since the information on the angle of view of the imaging device 220 or 230 is used, a special sensor (for example, the GPS receiver 240, the ultrasonic sensor 280, or the laser measuring device 290) is provided to maintain the relative positional relationship. Is no longer necessary.
  • FIG. 26 is a schematic diagram showing an example of a plurality of unmanned aircraft 100A forming a flight group and a virtual machine 100v positioned at a reference position RP.
  • two unmanned aircraft 100r1 and 100r2 are shown as the plurality of unmanned aircraft 100A.
  • the virtual machine 100v represents a virtual unmanned aerial vehicle located at the reference position RP.
  • the virtual straight lines VL1 and VL2 are straight lines that virtually connect the reference position RP, that is, the virtual machine 100v and each of the unmanned aircraft 100r1 and 100r2.
  • two unmanned aircraft 100r1 and 100r2 are arranged symmetrically with respect to the reference position RP. Therefore, a virtual straight line VL1 connecting the reference position RP and the unmanned aircraft 100r1 and a virtual straight line VL2 connecting the reference position RP and the unmanned aircraft 100r2 are in a straight line.
  • the plurality of virtual straight lines VL1 and VL2 do not have to be a straight line.
  • each unmanned aircraft 100r1, 100r2 in the flight group is the upward direction indicated by the arrow ⁇ 1.
  • the traveling direction of the flight group can be changed according to an instruction signal from the transmitter 50A.
  • an arrow ar drawn in each unmanned aircraft 100A indicates the direction of the imaging device 220 or 230, that is, the imaging direction. This is the same in the following.
  • Each unmanned aircraft 100r1, 100r2 is instructed to perform flight control from the transmitter 50A.
  • the transmitter 50A gives an instruction signal to each unmanned aircraft 100r1, 100r2 based on the absolute position of the virtual machine 100v.
  • Each unmanned aircraft 100A may control the flight according to the instruction signal from the transmitter 50A while fixing the relative positional relationship with respect to the reference position RP, that is, the virtual machine 100v. Since the relative positional relationship is fixed, the length of the virtual straight line VL is not changed, the positional relationship of each unmanned aircraft 100r1, 100r2 with respect to the reference position RP is not changed, and each unmanned aircraft 100r1, 100r2 flies. Control.
  • each unmanned aerial vehicle 100r1, 100r2 the flight control unit 119 is configured even when the instruction signal from the transmitter 50A includes instruction information regarding any flight (for example, throttle instruction information, pitch instruction information, roll instruction information, ladder instruction information).
  • instruction information regarding any flight for example, throttle instruction information, pitch instruction information, roll instruction information, ladder instruction information.
  • the relative positional relationship between the plurality of unmanned aircrafts 100r1 and 100r2 flying in cooperation is maintained and fixed, and the flight is controlled in accordance with the instruction information from the transmitter 50A.
  • each unmanned aircraft 100r1 and 100r2 can fly in a coordinated manner based on an instruction signal from one transmitter 50A.
  • the transmitter 50A can easily instruct flight control of a plurality of unmanned aircraft 100r1 and 100r2 as if it were operating one virtual machine 100v.
  • FIG. 27 is a schematic diagram showing a turning example of each unmanned aircraft 100A when the operation mode is set to the cooperative mode and the first turning mode.
  • the distance between each unmanned aircraft 100r1, r2 and the reference position RP is fixed, and each unmanned aircraft 100r1, 100r2 turns around the reference position RP. That is, it can be said that the virtual straight line VL turns around the reference position RP, and accordingly, the unmanned aircraft 100r1 and 100r2 located at the ends ep1 and ep2 of the virtual straight lines VL1 and VL2 also turn.
  • the transmitter 50A transmits the ladder instruction information to the virtual machine 100v, so that each unmanned aircraft 100r1 and r2 receives the ladder instruction information, and based on the ladder instruction information, Turn with a fixed relative position.
  • the traveling directions of the unmanned aircrafts 100r1 and 100r2 in the flight group are all in the upper left direction indicated by the arrow ⁇ 2. That is, the traveling direction of each unmanned aircraft 100r1, 100r2 in the flight group may be changed from the arrow ⁇ 1 to the arrow ⁇ 2 according to the ladder instruction information from the transmitter 50A.
  • the plurality of unmanned aircraft 100A that perform cooperative flight can turn so that the virtual straight line VL rotates.
  • the angle formed by the traveling direction ⁇ 2 and the virtual straight lines VL1 and VL2 does not change. Therefore, even if each unmanned aerial vehicle 100r1, 100r2 turns, the positional relationship between the imaging ranges captured by each unmanned aircraft 100r1, 100r2 does not change. Therefore, when a panoramic image is generated from a plurality of captured images captured by the unmanned aircraft 100r1 and 100r2, the positional relationship between the captured images does not change by the unmanned aircraft 100r1 and 100r2 that contribute to the panoramic image. Therefore, the operator of the transmitter 50A can operate the plurality of unmanned aircraft 100A at the same interval as the virtual machine 100v including one imaging device having a wide imaging range turns.
  • FIG. 28 is a schematic diagram showing a turning example of each unmanned aircraft 100A when the operation mode is set to the cooperative mode and the second turning mode.
  • the positions of the unmanned aircraft 100r1 and 100r2 are fixed, and the unmanned aircraft 100r1 and 100r2 turn around the unmanned aircraft 100A. That is, it can be said that the virtual straight line VL does not turn, and the unmanned aircrafts 100r1 and 100r2 located at the ends ep1 and ep2 of the virtual straight line VL turn at the ends ep1 and ep2. Since the virtual straight line VL does not turn, the absolute positions of the unmanned aircraft 100r1 and 100r2 do not change only with the ladder instruction information.
  • the transmitter 50A When viewed from the transmitter 50A side, the transmitter 50A transmits the ladder instruction information to the virtual machine 100v, so that each unmanned aircraft 100r1 and r2 receives the ladder instruction information, and based on the ladder instruction information, Turn with a fixed relative position.
  • the traveling directions of the unmanned aerial vehicles 100r1 and 100r2 in the flight group are both the upper left direction indicated by the arrow ⁇ 3. That is, the traveling direction of each unmanned aircraft 100r1, 100r2 in the flight group may be changed from the arrow ⁇ 1 to the arrow ⁇ 3 according to the ladder instruction information from the transmitter 50A.
  • the flight system 10A can turn the plurality of unmanned aircraft 100A performing the cooperative flight so that the virtual straight line VL does not rotate. Therefore, in the second turning mode, the flight range in which the plurality of unmanned aircraft 100A flies based on the ladder instruction information is narrower than in the first turning mode.
  • the virtual straight line VL rotates around the reference position RP, so that the flight trajectory of each unmanned aircraft 100A in the flight group becomes, for example, a circle, and the inside of the circle is the flight range required for turning It becomes.
  • the linear range indicated by the virtual straight line VL is a flight range necessary for turning. Therefore, for example, even when a plurality of unmanned aircraft 100A travels in a relatively narrow space, each unmanned aircraft 100A can fly according to the ladder instruction information.
  • FIG. 29 is a schematic diagram showing a first arrangement example during the flight of three unmanned aerial vehicles 100r1, 100r2, and 100r3 forming a flight group.
  • the three unmanned aircrafts 100r1 to 100r3 are arranged at equal positions from the reference position RP at positions corresponding to the vertices of the equilateral triangle. Respective virtual straight lines connecting the reference position RP and each of the three unmanned aircraft 100r1 to 100r3 are shown as virtual straight lines VL1, VL2, and VL3.
  • the three unmanned aerial vehicles 100r1 to 100r3 are located at the ends ep1, ep2, and ep3 of the virtual straight lines VL1 to VL3.
  • the traveling directions of the unmanned aerial vehicles 100r1 to 100r3 in the flight group are all in the upper left direction indicated by the arrow ⁇ 4.
  • each imaging direction of the unmanned aircraft 100r1 to 100r3 coincide with the directions in which the virtual straight lines VL1 to VL3 extend from the reference position RP. Accordingly, each imaging direction is equally different by 120 degrees.
  • the imaging direction of each unmanned aircraft 100r1 to 100r3 may be set by the imaging control unit 120 of each unmanned aircraft 100r1 to 100r3.
  • the imaging device 220 or 230 included in each unmanned aircraft 100r1 to 100r3 may have an angle of view set to 120 degrees or more.
  • Each of the unmanned aircraft 100r1 to 100r3 may transmit the captured image captured by the imaging device 220 or 230 of each of the unmanned aircraft 100r1 to 100r3 to the mobile terminal 80A.
  • the portable terminal 80A may receive captured images from each of the unmanned aircraft 100r1 to 100r3.
  • the mobile terminal 80A may acquire a plurality of captured images captured at an angle of view of 120 degrees or more in different imaging directions by 120 degrees.
  • a panoramic image may be generated based on captured images captured by at least two of the unmanned aircraft 100r1 to 100r3.
  • the mobile terminal 80A may generate an omnidirectional panoramic image based on captured images captured by the unmanned aircraft 100r1 to 100r3.
  • the arrangement of a plurality of unmanned aircraft 100A belonging to this flight group may be determined based on the number of unmanned aircraft 100A belonging to the same flight group so that a panoramic image can be generated. That is, the first relative position acquisition unit 112 may automatically arrange each unmanned aircraft 100A based on the number of unmanned aircraft 100A. In this case, the first relative position acquisition unit 112 of each unmanned aircraft 100A may determine the arrangement position of each unmanned aircraft 100 with respect to the reference position RP. For example, the first relative position acquisition unit 112 of each unmanned aircraft 100A may arrange each unmanned aircraft 100 at the same distance and the same angle with respect to the reference position RP in the order of the identification number of the unmanned aircraft 100A. In this case, each unmanned aerial vehicle 100r1 to 100r3 may be arranged at the position of the apex of an equilateral triangle with the reference position RP as the center of gravity.
  • FIG. 30 is a schematic diagram showing an example of turning in the first turning mode by the three unmanned aerial vehicles 100r1, 100r2, and 100r3 shown in FIG.
  • each unmanned aircraft 100r1, 100r2, 100r3 and the reference position RP is fixed, and each unmanned aircraft 100r1 to 100r3 turns around the reference position RP. That is, it can be said that the virtual straight lines VL1, VL2, and VL3 turn around the reference position RP, and accordingly, the unmanned aircraft 100r1 to 100r3 positioned at the ends ep1, ep2, and ep3 of the virtual straight lines VL1 to VL3 also turn. . That is, even when three or more unmanned aircraft 100A form a flight group, each unmanned aircraft 100A can turn in accordance with the first turning mode. In FIG. 30, the traveling direction of each unmanned aircraft 100r1 to 100r3 in the flight group due to the turn is the upper left direction indicated by the arrow ⁇ 5.
  • each unmanned aircraft 100A follows the second turning mode even when three or more unmanned aircraft 100A form a flight group, as in the first turning mode. Turn is possible.
  • FIG. 31 is a schematic diagram showing an arrangement example of five unmanned aircrafts 100r1, 100r2, 100r3, 100r4, and 100r5 forming a flight group at the time of flight.
  • each of the unmanned aircraft 100r1 to 100r5 and the reference position RP are connected by virtual straight lines VL1, VL2, VL3, VL4, and VL5.
  • the imaging direction of the two unmanned aerial vehicles 100r1 and 100r2 positioned in front of the same flight group is the forward direction (upward).
  • the three unmanned aerial vehicles 100r3, 100r4, and 100r5 located at positions other than the front in the same flight group have different imaging directions by 90 degrees.
  • the imaging direction of the unmanned aircraft 100r3 is the right direction
  • the imaging direction of the unmanned aircraft 100r4 is the backward direction (downward)
  • the imaging direction of the unmanned aircraft 100r5 is the left direction.
  • each unmanned aircraft 100r1 to 100r5 may set the angle of view of the imaging device 220 or 230 included in each aircraft to 90 degrees or more.
  • Each imaging direction and each angle of view may be set by the imaging control unit 120 included in the unmanned aircraft 100-1 to 100r5.
  • Each of the unmanned aircraft 100r1 to 100r5 may transmit the captured image captured by the imaging device 220 or 230 of each of the unmanned aircraft 100r1 to 100r5 to the mobile terminal 80A.
  • the portable terminal 80A may receive captured images from each of the unmanned aircraft 100r1 to 100r5.
  • the imaging range by the imaging device 220 or 230 of the unmanned aerial vehicle 100r1, 100r2 may partially overlap.
  • the mobile terminal 80A may generate a stereo image based on captured images captured by each of the unmanned aircraft 100r1 and 100r2.
  • the mobile terminal 80A may acquire a captured image captured at an angle of view of 90 degrees or more in an imaging direction that is different by 90 degrees.
  • a panoramic image (for example, an omnidirectional panoramic image) may be generated based on a captured image captured by at least one of the unmanned aircraft 100r1 and 101r2 and a captured image captured by the unmanned aircraft 100r1 to 100r3.
  • the unmanned aircraft 100A has different angles of view (for example, 90 degrees or more) and imaging directions (for example, 90 degrees different directions) based on the number of unmanned aircraft 100A (for example, four) forming the flight group. ), It is possible to acquire a plurality of captured images suitable for generating a panoramic image and a stereo image without requiring a precise flight operation on the transmitter 50A. In particular, if one of the captured images captured by the plurality of unmanned aircraft 100A deteriorates in image quality or the position of the subject shifts relative to the captured image, the image quality of the panoramic image or the stereo image is affected.
  • the mobile terminal 80A can acquire a plurality of captured images in which image quality deterioration and positional deviation of the subject with respect to the captured image are suppressed from a plurality of unmanned aircraft 100A belonging to one flight group. Therefore, the mobile terminal 80A can acquire a desired panoramic image or stereo image.
  • each of the unmanned aircraft 100r1 to 100r5 obtains the ladder instruction information from the transmitter 50A, and the relative position is determined by the turning method in the first turning mode or the second turning mode. You may turn with the relationship fixed.
  • FIG. 32A is a schematic diagram of a second arrangement example in the horizontal direction during flight of three unmanned aerial vehicles 100r1, 100r2, and 100r3 forming a flight group.
  • FIG. 32B is a schematic diagram of a second arrangement example in the height direction during flight of three unmanned aerial vehicles 100r1, 100r2, and 100r3 forming a flight group.
  • two unmanned aircraft 100r1 and 100r2 fly in front of the flight group (traveling direction ⁇ 7 when moving forward).
  • One unmanned aerial vehicle 100r3 is arranged rearward in the flight group. Further, one unmanned aircraft 100r3 flies at a higher altitude than the two unmanned aircraft 100r1 and 100r2.
  • the imaging directions of the unmanned aerial vehicles 100r1 to 100r3 are all traveling directions during forward movement.
  • the unmanned aerial vehicle 100r3 makes it easier to manage the flight of the unmanned aircraft 100r1 and 100r2 by flying the unmanned aircraft 100r1 and 100r2 at a high altitude.
  • Each of the unmanned aircraft 100r1 to 100r3 may transmit the captured image captured by the imaging device 220 or 230 of each of the unmanned aircraft 100r1 to 100r3 to the mobile terminal 80A.
  • the portable terminal 80A may receive captured images from each of the unmanned aircraft 100r1 to 100r3.
  • the imaging range of the imaging device 220 or 230 of the unmanned aerial vehicle 100r3 may include the unmanned aircraft 100r1 and 100r2 flying in front.
  • the unmanned aircraft 100r1 and 100r2 are reflected in the captured image captured by the imaging device 220 or 230 of the unmanned aircraft 100r3.
  • the operator of the transmitter 50A instructs the coordinated flight control of the plurality of unmanned aircraft 100r1 to 100r3 while confirming the captured image (operation image) from the unmanned aircraft 100r3 displayed on the portable terminal 80A. it can.
  • the imaging ranges of the unmanned aircraft 100r1 and 100r2 may partially overlap.
  • the mobile terminal 80A may generate a stereo image based on the captured image captured by each of the unmanned aircraft 100r1 and 100r2.
  • one imaging device 230 of the two unmanned aircraft 100r1 and 100r2 flying in the other side may image the other of the two unmanned aircraft 100r1 and 100r2.
  • the imaging device 230 may be fixedly disposed on the UAV main body 102 or the like with the horizontal direction as the imaging direction so as to be capable of imaging each other.
  • the unmanned aircraft 100A can acquire relative position information (for example, distance information) of the other unmanned aircraft 100A flying in cooperation in the left-right direction instead of the front-back direction in the horizontal direction.
  • the flight system 10A can be operated at least one in a flight group that flies in cooperation with the transmitter 50A so that the operator of the transmitter 50A can easily operate.
  • An image in which a part of the unmanned aircraft 100A is reflected can be provided. Therefore, the transmitter 50A operates the plurality of unmanned aircraft 100A with a simple operation while visually recognizing at least a part of the unmanned aircraft 100A in the flight group, and moves the plurality of unmanned aircraft 100A to an area where stereo image acquisition is desired. Can be advanced.
  • FIG. 33 is a flowchart showing an operation example of the unmanned aerial vehicle 100A.
  • a plurality of unmanned aircraft 100A belonging to the same flight group operates in the same manner.
  • the flight control unit 119 acquires the cooperative control information CC including the relative position information of the plurality of unmanned aircraft 100A belonging to the flight group held in the memory 160 (S21).
  • the signal acquisition unit 111 receives the instruction signal from the transmitter 50A (S22).
  • the flight control unit 119 controls the flight of the unmanned aircraft 100A (own aircraft) by fixing the relative positional relationship of the unmanned aircraft 100A belonging to the same flight group based on the instruction signal from the transmitter 50A ( S23).
  • the unmanned aerial vehicle 100A it is possible to acquire relative position information of a plurality of unmanned aircraft 100A belonging to the flight group when receiving a flight control instruction from the transmitter 50A during the flight.
  • the unmanned aerial vehicle 100A is operated by the single transmitter 50A so that the relative position relationship with the other unmanned aircraft 100A can be maintained even when the flight route or flight position is not set in advance. It is possible to fly in cooperation with another unmanned aircraft 100A. Therefore, even when the unmanned aircraft 100A performs coordinated flight with another unmanned aircraft 100A, the flight route and the like can be designated in real time by one transmitter 50A. In other words, the unmanned aircraft 100A can improve the degree of freedom of flight during coordinated flight.
  • each unmanned aircraft 100A is operated by one transmitter 50A, so that the relative positional relationship between the plurality of unmanned aircraft 100A even in a flight route or flight position that is not set in advance. And a plurality of unmanned aircraft 100A can fly in a coordinated manner. Therefore, even when a plurality of unmanned aircraft 100A in the flight system 10A performs coordinated flight, the flight route and the like can be designated in real time by one transmitter 50A. That is, the flight system 10A can improve the degree of freedom of flight during the coordinated flight of the plurality of unmanned aircraft 100A.

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Traffic Control Systems (AREA)
  • Toys (AREA)

Abstract

複数の飛行体が協調して飛行する場合における飛行体の飛行の自由度を向上することが望まれる。飛行体は、他の飛行体とともに飛行グループを形成して飛行する。飛行体は、飛行グループに属する複数の飛行体の制御を指示する操作装置から飛行の制御を指示する指示信号と、飛行グループに属する複数の飛行体の基準位置に対する飛行体の相対的な位置情報である第1の相対的な位置情報と、を取得する第1の取得部と、指示信号と第1の相対的な位置情報とに基づいて、基準位置と飛行体との間の相対的な位置関係を固定して、飛行体の飛行を制御する制御部と、を備える。

Description

位置処理装置、飛行体、位置処理システム、飛行システム、位置処理方法、飛行制御方法、プログラム、及び記録媒体
 本開示は、複数の飛行体の位置情報を処理する位置処理装置、位置処理システム、位置処理方法、プログラム、及び記録媒体に関する。本開示は、処理された位置情報に基づいて飛行する飛行体、飛行システム、飛行制御方法、プログラム、及び記録媒体に関する。
 近年、複数の無人航空機が1つのエリアで連携して飛行することが知られている。複数の無人航空機を連携して飛行させるために、例えば、予め設定された飛行プログラムの実行により、複数の無人航空機が連携して飛行可能である(特許文献1参照)。特許文献1では、複数の無人航空機としての複数の飛翔体が、地上局からの指令により空中の指定された位置に移動停止し、発光する。これにより、観測者は、星座などを疑似的に観測できる。
日本国特開2016-206443号公報
 特許文献1に記載された飛翔体は、事前に設定された飛行ルートや飛行位置に従って飛行可能であるが、事前に設定されていない飛行ルートや飛行位置を考慮して飛行することは困難である。したがって、特許文献1に記載されたシステムは、リアルタイムに飛行ルート等を指定できず、無人航空機の飛行時の自由度が低い。
 また、操作装置(プロポ)を用いて無人航空機の飛行を操縦すると、リアルタイムに操縦者の意志を反映して無人航空機に対して飛行ルートや飛行位置を指示できる。しかし、複数の無人航空機を操縦するためには複数の操作装置が必要であり、複数の無人航空機を連携して操縦することは困難である。
 一態様において、位置処理装置は、複数の飛行体の位置情報を処理する位置処理装置であって、複数の飛行体を選択し、選択された複数の飛行体が属する飛行グループを形成する選択部と、飛行体の制御を指示する操作装置による操作中における、飛行グループに属する複数の飛行体の相対的な位置情報である第1の相対的な位置情報を決定する決定部と、を備える。
 決定部は、第1の相対的な位置情報として、飛行グループに属する複数の飛行体の基準位置に対する複数の飛行体の各々の相対的な位置情報を決定してよい。
 決定部は、複数の飛行体の各々の識別情報と、識別情報により識別される飛行体の各々の相対的な位置情報と、を関連付けて決定してよい。
 第1の相対的な位置情報は、複数の飛行体の3次元空間における相対的な位置情報を含んでよい。
 第1の相対的な位置情報は、複数の飛行体の水平方向の距離情報を含んでよい。
 第1の相対的な位置情報は、複数の飛行体の重力方向の距離情報を含んでよい。
 位置処理装置は、複数の飛行体を示す複数の飛行体画像を表示する表示部と、入力を受け付ける操作部と、を更に備えてよい。決定部は、表示部に表示された複数の飛行体画像の位置を、操作部への入力により変更することで、第1の相対的な位置情報を変更してよい。
 操作部は、ドラッグ操作による入力を受け付けてよい。
 表示部は、ドラッグ操作により変更された複数の飛行体画像の位置に基づいて、複数の飛行体の間の距離情報を表示してよい。
 位置処理装置は、入力を受け付ける操作部、を更に備えてよい。決定部は、操作部へ入力された複数の飛行体の間の距離情報に基づいて、第1の相対的な位置情報を決定してよい。
 位置処理装置は、複数の飛行体の各々の位置情報を取得する取得部、を更に備えてよい。決定部は、取得された複数の位置情報の差分に基づく相対的な位置情報である第2の相対的な位置情報に基づいて、第1の相対的な位置情報を決定してよい。
 位置処理装置は、第1の相対的な位置情報を出力する出力部、を更に備えてよい。
 一態様において、飛行体は、他の飛行体とともに飛行グループを形成して飛行する飛行体であって、飛行グループに属する複数の飛行体の制御を指示する操作装置から飛行の制御を指示する指示信号と、飛行グループに属する複数の飛行体の基準位置に対する飛行体の相対的な位置情報である第1の相対的な位置情報と、を取得する第1の取得部と、指示信号と第1の相対的な位置情報とに基づいて、基準位置と飛行体との間の相対的な位置関係を固定して、飛行体の飛行を制御する制御部と、を備える。
 指示信号は、複数の飛行体の旋回を指示するための第1旋回指示情報を含んでよい。制御部は、第1旋回指示情報に基づいて、飛行体と飛行グループに属する複数の飛行体の基準位置との距離を固定して、基準位置を中心として飛行体が旋回するように、飛行体を制御してよい。
 指示信号は、複数の飛行体の旋回を指示するための第2旋回指示情報を含んでよい。制御部は、第2旋回指示情報に基づいて、飛行体の位置を固定して、飛行体の位置を中心として飛行体が旋回するように、飛行体の飛行を制御してよい。
 飛行体は、第1の撮像部、を更に備えてよい。制御部は、協調して飛行する飛行体の台数に基づいて、第1の撮像部の画角を制御し、第1の相対的な位置情報に基づいて、第1の撮像部の撮像方向を制御してよい。
 飛行体は、飛行体の飛行位置を示す第1の飛行位置情報を取得する第2の取得部と、基準位置と第1の相対的な位置情報とを基に、飛行体の飛行位置を示す第2の飛行位置情報を計算する計算部と、を更に備えてよい。制御部は、第1の飛行位置情報と第2の飛行位置情報とが一致するように、飛行体の飛行を制御してよい。
 第1の撮像部は、第1の撮像部の画角を示す第1の画角の情報を取得してよい。第1の取得部は、他の飛行体が備える第2の撮像部の画角を示す第2の画角の情報を取得してよい。制御部は、第1の画角と第2の画角との差が略一定となるよう、飛行体の飛行を制御してよい。
 第1の取得部は、他の飛行体が備える第2の撮像部により撮像された第2の撮像画像を取得してよい。計算部は、第1の撮像部により撮像された第1の撮像画像及び第2の撮像画像に基づいて、他の飛行体に対する飛行体の相対的な位置情報である第2の相対的な位置情報を計算してよい。第1の相対的な位置情報は、他の飛行体に対する飛行体の相対的な位置情報である第3の相対的な位置情報を含んでよい。第1の制御部は、第2の相対的な位置情報と第3の相対的な位置情報とが一致するよう、飛行体の飛行を制御してよい。
 飛行体は、飛行体と他の飛行体との間の距離を測定し、第1の距離情報を得る測距センサ、を更に備えてよい。第1の相対的な位置情報は、飛行体と他の飛行体との間の距離を示す第2の距離情報を含んでよい。制御部は、第1の距離情報と第2の距離情報とが一致するよう、飛行体の飛行を制御してよい。
 一態様において、位置処理システムは、複数の飛行体の位置情報を処理する位置処理システムであって、複数の飛行体を選択し、選択された複数の飛行体が属する飛行グループを形成する選択部と、飛行体の制御を指示する操作装置による操作中における、飛行グループに属する複数の飛行体の相対的な位置情報である第1の相対的な位置情報を決定する決定部と、第1の相対的な位置情報を複数の飛行体に設定する設定部と、を備える。
 一態様において、飛行システムは、飛行グループを形成して飛行する複数の飛行体と、複数の飛行体の制御を指示する操作装置と、を備える飛行システムであって、操作装置は、複数の飛行体の飛行の制御を指示する指示信号を送信し、複数の飛行体の各々は、指示信号を受信し、操作装置による操作中における、飛行グループに属する複数の飛行体の相対的な位置情報を取得し、指示信号と相対的な位置情報とに基づいて、複数の飛行体の相対的な位置関係を固定して、飛行体の各々の飛行を制御する。
 飛行システムは、画像処理装置、を更に備えてよい。複数の飛行体の各々は、異なる撮像方向を撮像して撮像画像を取得し、撮像画像を画像処理装置へ送信してよい。画像処理装置は、複数の飛行体の各々からの複数の撮像画像を受信し、複数の撮像画像に基づいて、パノラマ画像及びステレオ画像の少なくとも一方を生成してよい。
 一態様において、位置処理方法は、飛行体の位置情報を処理する位置処理装置における位置処理方法であって、複数の飛行体を選択し、選択された複数の飛行体が属する飛行グループを形成するステップと、飛行体の制御を指示する操作装置による操作中における、飛行グループに属する複数の飛行体の相対的な位置情報である第1の相対的な位置情報を決定するステップと、を有する。
 位置情報を決定するステップは、第1の相対的な位置情報として、飛行グループに属する複数の飛行体の基準位置に対する複数の飛行体の各々の相対的な位置情報を決定するステップを含んでよい。
 位置情報を決定するステップは、第1の相対的な位置情報として、飛行グループに属する複数の飛行体の基準位置に対する複数の飛行体の各々の相対的な位置情報を決定するステップを含んでよい。
 位置情報を決定するステップは、複数の飛行体の各々の識別情報と、識別情報により識別される飛行体の各々の相対的な位置情報と、を関連付けて決定するステップを含んでよい。
 第1の相対的な位置情報は、複数の飛行体の3次元空間における相対的な位置情報を含んでよい。
 第1の相対的な位置情報は、複数の飛行体の水平方向の距離情報を含んでよい。
 第1の相対的な位置情報は、複数の飛行体の重力方向の距離情報を含んでよい。
 位置処理方法は、複数の飛行体を示す複数の飛行体画像を表示するステップと、操作部への入力を受け付けるステップと、を更に含んでよい。位置情報を決定するステップは、表示された複数の飛行体画像の位置を、入力により変更することで、第1の相対的な位置情報を変更するステップを含んでよい。
 入力を受け付けるステップは、ドラッグ操作による入力を受け付けるステップを含んでよい。
 飛行体画像を表示するステップは、ドラッグ操作により変更された複数の飛行体画像の位置に基づいて、複数の飛行体の間の距離情報を表示するステップを含んでよい。
 位置処理方法は、操作部への入力を受け付けるステップ、を更に含んでよい。位置情報を決定するステップは、操作部へ入力された複数の飛行体の間の距離情報に基づいて、第1の相対的な位置情報を決定するステップを含んでよい。
 位置処理方法は、複数の飛行体の各々の位置情報を取得するステップ、を更に含んでよい。位置情報を決定するステップは、取得された複数の位置情報の差分に基づく相対的な位置情報である第2の相対的な位置情報に基づいて、第1の相対的な位置情報を決定するステップを含んでよい。
 位置処理方法は、第1の相対的な位置情報を出力するステップ、を更に含んでよい。
 一態様において、他の飛行体とともに飛行グループを形成して飛行する飛行体における飛行制御方法であって、飛行グループに属する複数の飛行体の制御を指示する操作装置から飛行の制御を指示する指示信号を取得するステップと、飛行グループに属する複数の飛行体の基準位置に対する飛行体の相対的な位置情報である第1の相対的な位置情報を取得するステップと、指示信号と第1の相対的な位置情報とに基づいて、基準位置と飛行体との間の相対的な位置関係を固定して、飛行体の飛行を制御するステップと、を有する。
 指示信号は、複数の飛行体の旋回を指示するための第1旋回指示情報を含んでよい。飛行体の飛行を制御するステップは、第1旋回指示情報に基づいて、飛行体と飛行グループに属する複数の飛行体の基準位置との距離を固定して、基準位置を中心として飛行体が旋回するように、飛行体を制御するステップを含んでよい。
 指示信号は、複数の飛行体の旋回を指示するための第2旋回指示情報を含んでよい。飛行体の飛行を制御するステップは、第2旋回指示情報に基づいて、飛行体の位置を固定して、飛行体の位置を中心として飛行体が旋回するように、飛行体の飛行を制御するステップを含んでよい。
 飛行制御方法は、飛行グループに属する飛行体の台数に基づいて、飛行体が備える第1の撮像部の画角を制御するステップと、第1の相対的な位置情報に基づいて、第1の撮像部の撮像方向を制御するステップと、を更に含んでよい。
 飛行制御方法は、飛行体の飛行位置を示す第1の飛行位置情報を取得するステップと、基準位置と第1の相対的な位置情報とを基に、飛行体の飛行位置を示す第2の飛行位置情報を計算するステップと、を更に含んでよい。飛行体の飛行を制御するステップは、第1の飛行位置情報と第2の飛行位置情報とが一致するように、飛行体の飛行を制御するステップを含んでよい。
 飛行制御方法は、第1の撮像部の画角を示す第1の画角の情報を取得するステップと、他の飛行体が備える第2の撮像部の画角を示す第2の画角の情報を取得するステップと、を更に含んでよい。飛行体の飛行を制御するステップは、第1の画角と第2の画角との差が略一定となるよう、飛行体の飛行を制御するステップを含んでよい。
 飛行制御方法は、第1の撮像部により撮像し、第1の撮像画像を得るステップと、他の飛行体が備える第2の撮像部により撮像された第2の撮像画像を取得するステップと、第1の撮像画像及び第2の撮像画像に基づいて、他の飛行体に対する飛行体の相対的な位置情報である第2の相対的な位置情報を計算するステップと、を更に含んでよい。第1の相対的な位置情報は、他の飛行体に対する飛行体の相対的な位置情報である第3の相対的な位置情報を含んでよい。飛行体の飛行を制御するステップは、第2の相対的な位置情報と第3の相対的な位置情報とが一致するよう、飛行体の飛行を制御するステップを含んでよい。
 飛行制御方法は、飛行体と他の飛行体との間の距離を測定し、第1の距離情報を得るステップ、を更に含んでよい。第1の相対的な位置情報は、飛行体と他の飛行体との間の距離を示す第2の距離情報を含んでよい。飛行体の飛行を制御するステップは、第1の距離情報と第2の距離情報とが一致するよう、飛行体の飛行を制御するステップを含んでよい。
 一態様において、位置処理方法は、飛行体の位置情報を処理する位置処理システムにおける位置処理方法であって、複数の飛行体を選択し、選択された複数の飛行体が属する飛行グループを形成するステップと、飛行体の制御を指示する操作装置による操作中における、飛行グループに属する複数の飛行体の相対的な位置情報である第1の相対的な位置情報を決定するステップと、第1の相対的な位置情報を複数の飛行体に設定するステップと、を有する。
 一態様において、飛行制御方法は、飛行グループを形成して飛行する複数の飛行体と、複数の飛行体の制御を指示する操作装置と、を備える飛行システムにおける飛行制御方法であって、複数の飛行体の飛行の制御を指示する指示信号を取得するステップと、操作装置による操作中における、飛行グループに属する複数の飛行体の相対的な位置情報を取得するステップと、指示信号と相対的な位置情報とに基づいて、複数の飛行体の相対的な位置関係を固定して、飛行体の各々の飛行を制御するステップと、を有する。
 飛行制御方法は、複数の飛行体の各々により異なる撮像方向を撮像するステップと、撮像された複数の撮像画像を取得するステップと、複数の撮像画像に基づいて、パノラマ画像及びステレオ画像の少なくとも一方を生成するステップと、を更に含んでよい。
 一態様において、プログラムは、複数の飛行体の位置情報を処理する位置処理装置であるコンピュータに、複数の飛行体を選択し、選択された複数の飛行体が属する飛行グループを形成するステップと、飛行体の制御を指示する操作装置による操作中における、飛行グループに属する複数の飛行体の相対的な位置情報である第1の相対的な位置情報を決定するステップと、を実行させるためのプログラムである。
 一態様において、プログラムは、他の飛行体とともに飛行グループを形成して飛行する飛行体に、飛行グループに属する複数の飛行体の制御を指示する操作装置から飛行の制御を指示する指示信号を取得するステップと、飛行体の制御を指示する操作装置による操作中における、飛行グループに属する複数の飛行体の基準位置に対する飛行体の相対的な位置情報を取得するステップと、指示信号と相対的な位置情報とに基づいて、基準位置と飛行体との間の相対的な位置関係を固定して、飛行体の飛行を制御するステップと、を実行させるためのプログラムである。
 一態様において、記録媒体は、複数の飛行体の位置情報を処理する位置処理装置であるコンピュータに、複数の飛行体を選択し、選択された複数の飛行体が属する飛行グループを形成するステップと、飛行体の制御を指示する操作装置による操作中における、飛行グループに属する複数の飛行体の相対的な位置情報である第1の相対的な位置情報を決定するステップと、を実行させるためのプログラムを記録したコンピュータ読取り可能な記録媒体である。
 一態様において、記録媒体は、他の飛行体とともに飛行グループを形成して飛行する飛行体であるコンピュータに、飛行グループに属する複数の飛行体の制御を指示する操作装置から飛行の制御を指示する指示信号を取得するステップと、飛行体の制御を指示する操作装置による操作中における、飛行グループに属する複数の飛行体の基準位置に対する飛行体の相対的な位置情報を取得するステップと、指示信号と相対的な位置情報とに基づいて、基準位置と飛行体との間の相対的な位置関係を固定して、飛行体の飛行を制御するステップと、を実行させるためのプログラムを記録したコンピュータ読取り可能な記録媒体である。
 なお、上記の発明の概要は、本開示の特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。
第1の実施形態における飛行システムの構成例を示す模式図 無人航空機の外観の一例を示す図 無人航空機の具体的な外観の一例を示す図 第1の実施形態における無人航空機のハードウェア構成の一例を示すブロック図 送信機及び携帯端末(スマートフォン)の外観の一例を示す斜視図 送信機及び携帯端末(タブレット端末)の外観の一例を示す斜視図 送信機のハードウェア構成の一例を示すブロック図 携帯端末のハードウェア構成の一例を示すブロック図 携帯端末の機能構成の一例を示すブロック図 位置関係処理画面における同じ飛行グループに属する無人航空機の指定例を示す図 位置関係処理画面における無人航空機の水平方向の位置の調整例を示す図 位置関係処理画面における無人航空機の高さ方向の位置の調整例を示す図 飛行グループを形成する複数の無人航空機の水平方向の基準位置の一例を示す模式図 飛行グループを形成する複数の無人航空機の水高さ方向の基準位置の一例を示す模式図 飛行グループを形成する複数の無人航空機の第1配列決定例を示す模式図 飛行グループを形成する複数の無人航空機の第2配列決定例を示す模式図 飛行グループを形成する複数の無人航空機の第3配列決定例を示す模式図 飛行グループを形成する複数の無人航空機の第4配列決定例を示す模式図 飛行グループを形成する複数の無人航空機の第5配列決定例を示す模式図 飛行システムの動作例を示すフローチャート 第2の実施形態における飛行システムの構成例を示す模式図 第2の実施形態における無人航空機のハードウェア構成の一例を示すブロック図 無人航空機の機能構成の一例を示すブロック図 携帯端末の機能構成の一例を示すブロック図 送信機からの指示信号の種別に応じた回転翼の回転方法を説明するための図 飛行グループを形成する複数の無人航空機と基準位置に位置する仮想機との一例を示す模式図 無人航空機の第1の旋回モードでの旋回例を示す模式図 無人航空機の第2の旋回モードでの旋回例を示す模式図 飛行グループを形成する3台の無人航空機の飛行時の第1配列例を示す模式図 図29に示した3台の無人航空機による第1の旋回モードでの旋回例を示す模式図 飛行グループを形成する5台の無人航空機の飛行時の配列例を示す模式図 飛行グループを形成する3台の無人航空機の飛行時の水平方向における第2配列例を模式図 飛行グループを形成する3台の無人航空機の飛行時の高さ方向における第2配列例を模式図 無人航空機の動作例を示すフローチャート
 以下、発明の実施形態を通じて本開示を説明するが、以下の実施形態は特許請求の範囲に係る発明を限定するものではない。実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須とは限らない。
 特許請求の範囲、明細書、図面、及び要約書には、著作権による保護の対象となる事項が含まれる。著作権者は、これらの書類の何人による複製に対しても、特許庁のファイル又はレコードに表示される通りであれば異議を唱えない。ただし、それ以外の場合、一切の著作権を留保する。
 以下の実施形態では、飛行体として、無人航空機(UAV:Unmanned Aerial Vehicle)を例示する。無人航空機は、空中を移動する航空機を含む。本明細書に添付する図面では、無人航空機を「UAV」と表記する。飛行制御方法は、飛行体及び飛行システムにおける動作が規定されたものである。また、記録媒体は、プログラム(例えば無人航空機に各種の処理を実行させるプログラム)が記録されたものである。
 以下の実施形態では、位置処理システムとして、飛行システムを例示する。位置処理装置として、携帯端末を例示する。携帯端末は、スマートフォンやタブレット端末を含んでよい。位置処理方法は、位置処理装置及び位置処理システムにおける動作が規定されたものである。また、記録媒体は、プログラム(例えば携帯端末に各種の処理を実行させるプログラム)が記録されたものである。
(第1の実施形態)
 図1は、第1の実施形態における飛行システム10の構成例を示す模式図である。飛行システム10は、無人航空機100、送信機50、及び携帯端末80を備える。無人航空機100、送信機50、及び携帯端末80は、相互に有線通信又は無線通信(例えば無線LAN(Local Area Network))により通信可能である。
 次に、無人航空機100の構成例について説明する。図2は、無人航空機100の外観の一例を示す図である。図3は、無人航空機100の具体的な外観の一例を示す図である。無人航空機100が移動方向STV0に飛行する時の側面図が図2に示され、無人航空機100が移動方向STV0に飛行する時の斜視図が図3に示されている。
 図2及び図3に示すように、地面と平行であって移動方向STV0に沿う方向にロール軸(x軸参照)が定義されたとする。この場合、地面と平行であってロール軸に垂直な方向にピッチ軸(y軸参照)が定められ、更に、地面に垂直であってロール軸及びピッチ軸に垂直な方向にヨー軸(z軸参照)が定められる。
 無人航空機100は、UAV本体102と、ジンバル200と、撮像装置220と、複数の撮像装置230とを含む構成である。撮像装置220、230は、撮像部の一例である。
 UAV本体102は、複数の回転翼(プロペラ)を備える。UAV本体102は、複数の回転翼の回転を制御することにより無人航空機100を飛行させる。UAV本体102は、例えば4つの回転翼を用いて無人航空機100を飛行させる。回転翼の数は、4つに限定されない。また、無人航空機100は、回転翼を有さない固定翼機でもよい。
 撮像装置220は、所望の撮像範囲に含まれる被写体(例えば、空撮対象となる上空の様子、山や川等の景色、地上の建物)を撮像する撮像用のカメラである。
 複数の撮像装置230は、無人航空機100の飛行を制御するために無人航空機100の周囲を撮像するセンシング用のカメラである。2つの撮像装置230が、無人航空機100の機首である正面に設けられてよい。さらに、他の2つの撮像装置230が、無人航空機100の底面に設けられてよい。正面側の2つの撮像装置230はペアとなり、いわゆるステレオカメラとして機能してよい。底面側の2つの撮像装置230もペアとなり、ステレオカメラとして機能してよい。複数の撮像装置230により撮像された画像に基づいて、無人航空機100の周囲の3次元空間データが生成されてよい。なお、無人航空機100が備える撮像装置230の数は4つに限定されない。無人航空機100は、少なくとも1つの撮像装置230を備えていればよい。無人航空機100は、無人航空機100の機首、機尾、側面、底面、及び天井面のそれぞれに少なくとも1つの撮像装置230を備えてよい。撮像装置230で設定できる画角は、撮像装置220で設定できる画角より広くてよい。撮像装置230は、単焦点レンズ又は魚眼レンズを有してよい。
 図4は、無人航空機100のハードウェア構成の一例を示すブロック図である。無人航空機100は、UAV制御部110と、通信インタフェース150と、メモリ160と、ジンバル200と、回転翼機構210と、撮像装置220と、撮像装置230と、GPS受信機240と、慣性計測装置(IMU:Inertial Measurement Unit)250と、磁気コンパス260と、気圧高度計270と、超音波センサ280と、レーザー測定器290と、を含む構成である。通信インタフェース150は、通信部の一例である。超音波センサ280及びレーザー測定器290は、測距センサの一例である。
 UAV制御部110は、例えばCPU(Central Processing Unit)、MPU(Micro Processing Unit)又はDSP(Digital Signal Processor)を用いて構成される。UAV制御部110は、無人航空機100の各部の動作を統括して制御するための信号処理、他の各部との間のデータの入出力処理、データの演算処理及びデータの記憶処理を行う。
 UAV制御部110は、メモリ160に格納されたプログラムに従って無人航空機100の飛行を制御する。UAV制御部110は、通信インタフェース150を介して遠隔の送信機50から受信した命令に従って、無人航空機100の飛行を制御する。メモリ160は無人航空機100から取り外し可能であってもよい。
 UAV制御部110は、複数の撮像装置230により撮像された複数の画像を解析することで、無人航空機100の周囲の環境を特定してよい。UAV制御部110は、無人航空機100の周囲の環境に基づいて、例えば障害物を回避して飛行を制御する。
 UAV制御部110は、現在の日時を示す日時情報を取得する。UAV制御部110は、GPS受信機240から現在の日時を示す日時情報を取得してよい。UAV制御部110は、無人航空機100に搭載されたタイマ(不図示)から現在の日時を示す日時情報を取得してよい。
 UAV制御部110は、無人航空機100の位置を示す位置情報を取得する。UAV制御部110は、GPS受信機240から、無人航空機100が存在する緯度、経度及び高度を示す位置情報を取得してよい。UAV制御部110は、GPS受信機240から無人航空機100が存在する緯度及び経度を示す緯度経度情報、並びに気圧高度計270から無人航空機100が存在する高度を示す高度情報をそれぞれ位置情報として取得してよい。UAV制御部110は、超音波センサ280による超音波の放射点と超音波の反射点との距離を高度情報として取得してよい。
 UAV制御部110は、磁気コンパス260から無人航空機100の向きを示す向き情報を取得する。向き情報には、例えば無人航空機100の機首の向きに対応する方位が示される。
 UAV制御部110は、撮像装置220が撮像すべき撮像範囲を撮像する時に無人航空機100が存在すべき位置を示す位置情報を取得してよい。UAV制御部110は、無人航空機100が存在すべき位置を示す位置情報をメモリ160から取得してよい。UAV制御部110は、無人航空機100が存在すべき位置を示す位置情報を、通信インタフェース150を介して送信機50等の他の装置から取得してよい。UAV制御部110は、3次元地図データベースを参照して、撮像すべき撮像範囲を撮像するために、無人航空機100が存在可能な位置を特定して、その位置を無人航空機100が存在すべき位置を示す位置情報として取得してよい。
 UAV制御部110は、撮像装置220及び撮像装置230のそれぞれの撮像範囲を示す撮像情報を取得する。UAV制御部110は、撮像範囲を特定するためのパラメータとして、撮像装置220及び撮像装置230の画角を示す画角情報を撮像装置220及び撮像装置230から取得する。UAV制御部110は、撮像範囲を特定するためのパラメータとして、撮像装置220及び撮像装置230の撮像方向を示す情報を取得する。UAV制御部110は、例えば撮像装置220の撮像方向を示す情報として、ジンバル200から撮像装置220の姿勢の状態を示す姿勢情報を取得する。UAV制御部110は、無人航空機100の向きを示す情報を取得する。撮像装置220の姿勢の状態を示す情報は、ジンバル200のピッチ軸及びヨー軸の基準回転角度からの回転角度を示す。UAV制御部110は、撮像範囲を特定するためのパラメータとして、無人航空機100が存在する位置を示す位置情報を取得する。UAV制御部110は、撮像装置220及び撮像装置230の画角及び撮像方向、並びに無人航空機100が存在する位置に基づいて、撮像装置220が撮像する地理的な範囲を示す撮像範囲を画定し、撮像範囲を示す撮像情報を生成することで、撮像情報を取得してよい。
 UAV制御部110は、撮像装置220が撮像すべき撮像範囲を示す撮像情報を取得してよい。UAV制御部110は、メモリ160から撮像装置220が撮像すべき撮像情報を取得してよい。UAV制御部110は、通信インタフェース150を介して送信機50等の他の装置から撮像装置220が撮像すべき撮像情報を取得してよい。
 UAV制御部110は、無人航空機100の周囲に存在するオブジェクトの立体形状(3次元形状)を示す立体情報(3次元情報)を取得してよい。オブジェクトは、例えば、建物、道路、車、木等の風景の一部である。立体情報は、例えば、3次元空間データである。UAV制御部110は、複数の撮像装置230から得られたそれぞれの画像から、無人航空機100の周囲に存在するオブジェクトの立体形状を示す立体情報を生成することで、立体情報を取得してよい。UAV制御部110は、メモリ160に格納された3次元地図データベースを参照することにより、無人航空機100の周囲に存在するオブジェクトの立体形状を示す立体情報を取得してよい。UAV制御部110は、ネットワーク上に存在するサーバが管理する3次元地図データベースを参照することで、無人航空機100の周囲に存在するオブジェクトの立体形状に関する立体情報を取得してよい。
 UAV制御部110は、撮像装置220及び撮像装置230により撮像された画像データを取得する。
 UAV制御部110は、ジンバル200、回転翼機構210、撮像装置220、及び撮像装置230を制御する。UAV制御部110は、撮像装置220の撮像方向又は画角を変更することによって、撮像装置220の撮像範囲を制御する。UAV制御部110は、ジンバル200の回転機構を制御することで、ジンバル200に支持されている撮像装置220の撮像範囲を制御する。
 本明細書では、撮像範囲は、撮像装置220又は撮像装置230により撮像される地理的な範囲をいう。撮像範囲は、緯度、経度、及び高度で定義される。撮像範囲は、緯度、経度、及び高度で定義される3次元空間データにおける範囲でよい。撮像範囲は、撮像装置220又は撮像装置230の画角及び撮像方向、並びに無人航空機100が存在する位置に基づいて特定される。撮像装置220及び撮像装置230の撮像方向は、撮像装置220及び撮像装置230の撮像レンズが設けられた正面が向く方位と俯角とから定義される。撮像装置220の撮像方向は、無人航空機100の機首の方位と、ジンバル200に対する撮像装置220の姿勢の状態とから特定される方向である。撮像装置230の撮像方向は、無人航空機100の機首の方位と、撮像装置230が設けられた位置とから特定される方向である。
 UAV制御部110は、回転翼機構210を制御することで、無人航空機100の飛行を制御する。つまり、UAV制御部110は、回転翼機構210を制御することにより、無人航空機100の緯度、経度、及び高度を含む位置を制御する。UAV制御部110は、無人航空機100の飛行を制御することにより、撮像装置220及び撮像装置230の撮像範囲を制御してよい。UAV制御部110は、撮像装置220が備えるズームレンズを制御することで、撮像装置220の画角を制御してよい。UAV制御部110は、撮像装置220のデジタルズーム機能を利用して、デジタルズームにより、撮像装置220の画角を制御してよい。
 撮像装置220が無人航空機100に固定され、撮像装置220を動かせない場合、UAV制御部110は、特定の日時に特定の位置に無人航空機100を移動させることにより、所望の環境下で所望の撮像範囲を撮像装置220に撮像させることができる。あるいは撮像装置220がズーム機能を有さず、撮像装置220の画角を変更できない場合でも、UAV制御部110は、特定された日時に、特定の位置に無人航空機100を移動させることで、所望の環境下で所望の撮像範囲を撮像装置220に撮像させることができる。
 UAV制御部110は、例えば通信インタフェース150を介して、連携して飛行する飛行グループに属する複数の無人航空機100の相対的な位置情報を取得してよい。UAV制御部110は、相対的な位置情報をメモリ160に保持させることで、この相対的な位置情報を設定してよい。したがって、UAV制御部110は、設定部の一例である。相対的な位置情報を設定することで、相対的な位置情報を加味して(例えば相対的な位置関係を維持して)、飛行制御することが可能となる。
 通信インタフェース150は、送信機50と通信する。通信インタフェース150は、遠隔の送信機50からUAV制御部110に対する各種の命令や情報を受信する。
 メモリ160は、UAV制御部110がジンバル200、回転翼機構210、撮像装置220、撮像装置230、GPS受信機240、慣性計測装置250、磁気コンパス260、気圧高度計270、超音波センサ280、及びレーザー測定器290を制御するのに必要なプログラム等を格納する。メモリ160は、コンピュータ読み取り可能な記録媒体でよく、SRAM(Static Random Access Memory)、DRAM(Dynamic Random Access Memory)、EPROM(Erasable Programmable Read Only Memory)、EEPROM(Electrically Erasable Programmable Read-Only Memory)、及びUSBメモリ等のフラッシュメモリの少なくとも1つを含んでよい。メモリ160は、UAV本体102の内部に設けられてよい。UAV本体102から取り外し可能に設けられてよい。
 ジンバル200は、少なくとも1つの軸を中心に撮像装置220を回転可能に支持する。ジンバル200は、ヨー軸、ピッチ軸、及びロール軸を中心に撮像装置220を回転可能に支持してよい。ジンバル200は、ヨー軸、ピッチ軸、及びロール軸の少なくとも1つを中心に撮像装置220を回転させることで、撮像装置220の撮像方向を変更してよい。
 回転翼機構210は、複数の回転翼211と、複数の回転翼211を回転させる複数の駆動モータ212と、駆動モータ212を駆動するための駆動電流の電流値(実測値)を計測する電流センサ213と、を有する。駆動電流は、駆動モータ212に供給される。
 撮像装置220は、所望の撮像範囲の被写体を撮像して撮像画像のデータを生成する。撮像装置220の撮像により得られた画像データは、撮像装置220が有するメモリ、又はメモリ160に格納される。
 撮像装置230は、無人航空機100の周囲を撮像して撮像画像のデータを生成する。撮像装置230の画像データは、メモリ160に格納される。
 GPS受信機240は、複数の航法衛星(つまり、GPS衛星)から発信された時刻及び各GPS衛星の位置(座標)を示す複数の信号を受信する。GPS受信機240は、受信された複数の信号に基づいて、GPS受信機240の位置(つまり、無人航空機100の位置)を算出する。GPS受信機240は、無人航空機100の位置情報をUAV制御部110に出力する。なお、GPS受信機240の位置情報の算出は、GPS受信機240の代わりにUAV制御部110により行われてよい。この場合、UAV制御部110には、GPS受信機240が受信した複数の信号に含まれる時刻及び各GPS衛星の位置を示す情報が入力される。
 慣性計測装置250は、無人航空機100の姿勢を検出し、検出結果をUAV制御部110に出力する。慣性計測装置IMU250は、無人航空機100の姿勢として、無人航空機100の前後、左右、及び上下の3軸方向の加速度と、ピッチ軸、ロール軸、及びヨー軸の3軸方向の角速度とを検出する。
 磁気コンパス260は、無人航空機100の機首の方位を検出し、検出結果をUAV制御部110に出力する。
 気圧高度計270は、無人航空機100が飛行する高度を検出し、検出結果をUAV制御部110に出力する。
 超音波センサ280は、超音波を放射し、地面や物体により反射された超音波を検出し、検出結果をUAV制御部110に出力する。検出結果は、無人航空機100から地面までの距離つまり高度を示してよい。検出結果は、無人航空機100から物体までの距離を示してよい。
 レーザー測定器290は、物体にレーザー光を照射し、物体で反射された反射光を受光し、反射光により無人航空機100と物体との間の距離を測定する。レーザー光による距離の測定方式は、一例として、タイムオブフライト方式でよい。
 次に、送信機50及び携帯端末80の構成例について説明する。図5は、送信機50が装着された携帯端末80の外観の一例を示す斜視図である。図5では、携帯端末80の一例として、スマートフォン80Sが示されている。送信機50に対する上下前後左右の方向は、図5に示す矢印の方向にそれぞれ従うとする。送信機50は、例えば送信機50を使用する人物(以下、「操作者」という)の両手で把持された状態で使用される。
 送信機50は、例えば略正方形状の底面を有し、かつ高さが底面の一辺より短い略直方体(言い換えると、略箱形)の形状をした樹脂製の筐体50Bを有する。送信機50の筐体表面の略中央には、左制御棒53Lと右制御棒53Rとが突設して配置される。
 左制御棒53L、右制御棒53Rは、それぞれ操作者による無人航空機100の移動を遠隔で制御(例えば、無人航空機100の前後移動、左右移動、上下移動、向き変更)するための操作において使用される。図5では、左制御棒53L及び右制御棒53Rは、操作者の両手からそれぞれ外力が印加されていない初期状態の位置が示されている。左制御棒53L及び右制御棒53Rは、操作者により印加された外力が解放された後、自動的に所定位置(例えば図5に示す初期位置)に復帰する。
 左制御棒53Lの手前側(言い換えると、操作者側)には、送信機50の電源ボタンB1が配置される。電源ボタンB1が操作者により一度押下されると、例えば送信機50に内蔵されるバッテリ(不図示)の容量の残量がバッテリ残量表示部L2において表示される。電源ボタンB1が操作者によりもう一度押下されると、例えば送信機50の電源がオンとなり、送信機50の各部(図7参照)に電源が供給されて使用可能となる。
 右制御棒53Rの手前側(言い換えると、操作者側)には、RTH(Return To Home)ボタンB2が配置される。RTHボタンB2が操作者により押下されると、送信機50は、無人航空機100に所定の位置に自動復帰させるための信号を送信する。これにより、送信機50は、無人航空機100を所定の位置(例えば無人航空機100が記憶している離陸位置)に自動的に帰還させることができる。RTHボタンB2は、例えば屋外での無人航空機100による空撮中に操作者が無人航空機100の機体を見失った場合、又は電波干渉や予期せぬトラブルに遭遇して操作不能になった場合等に利用可能である。
 電源ボタンB1及びRTHボタンB2の手前側(言い換えると、操作者側)には、リモートステータス表示部L1及びバッテリ残量表示部L2が配置される。リモートステータス表示部L1は、例えばLED(Light Emission Diode)を用いて構成され、送信機50と無人航空機100との無線の接続状態を表示する。バッテリ残量表示部L2は、例えばLEDを用いて構成され、送信機50に内蔵されたバッテリ(不図示)の容量の残量を表示する。
 左制御棒53L及び右制御棒53Rより後側であって、かつ送信機50の筐体50Bの後方側面から、2つのアンテナAN1,AN2が突設して配置される。アンテナAN1,AN2は、操作者の左制御棒53L及び右制御棒53Rの操作に基づき、送信機制御部61により生成された信号(つまり、無人航空機100の移動を制御するための信号)を無人航空機100に送信する。この信号は、送信機50により入力された操作入力信号の1つである。アンテナAN1,AN2は、例えば2kmの送受信範囲をカバーできる。また、アンテナAN1,AN2は、送信機50と無線接続中の無人航空機100が有する撮像装置220,230により撮像された画像、又は無人航空機100が取得した各種データが無人航空機100から送信された場合に、これらの画像又は各種データを受信できる。
 図5では、送信機50が表示部を備えていないが、表示部を備えてもよい。
 携帯端末80は、ホルダHLDに載置されて取り付けられてよい。ホルダHLDは、送信機50に接合されて取り付けられてよい。これにより、携帯端末80がホルダHLDを介して送信機50に装着される。携帯端末80と送信機50とは、有線ケーブル(例えばUSBケーブル)を介して接続されてよい。携帯端末80が送信機50に装着されず、携帯端末80と送信機50がそれぞれ独立して設けられてもよい。
 図6は、送信機50及び携帯端末80の外観の一例を示す斜視図である。図6では、携帯端末80の一例として、タブレット80Tが示されている。
 図7は、送信機50のハードウェア構成の一例を示すブロック図である。送信機50は、左制御棒53Lと、右制御棒53Rと、送信機制御部61と、無線通信部63と、インタフェース部65と、電源ボタンB1と、RTHボタンB2と、操作部セットOPSと、リモートステータス表示部L1と、バッテリ残量表示部L2と、表示部DPとを含む構成である。送信機50は、無人航空機100の制御を指示する操作装置の一例である。
 左制御棒53Lは、例えば操作者の左手により、無人航空機100の移動を遠隔で制御するための操作に使用される。右制御棒53Rは、例えば操作者の右手により、無人航空機100の移動を遠隔で制御するための操作に使用される。無人航空機100の移動は、例えば前進する方向の移動、後進する方向の移動、左方向の移動、右方向の移動、上昇する方向の移動、下降する方向の移動、左方向に無人航空機100を回転する移動、右方向に無人航空機100を回転する移動のうちいずれか又はこれらの組み合わせであり、以下同様である。
 電源ボタンB1は一度押下されると、一度押下された旨の信号が送信機制御部61に入力される。送信機制御部61は、この信号に従い、送信機50に内蔵されるバッテリ(不図示)の容量の残量をバッテリ残量表示部L2に表示する。これにより、操作者は、送信機50に内蔵されるバッテリの容量の残量を簡単に確認できる。また、電源ボタンB1は二度押下されると、二度押下された旨の信号が送信機制御部61に渡される。送信機制御部61は、この信号に従い、送信機50に内蔵されるバッテリ(不図示)に対し、送信機50内の各部への電源供給を指示する。これにより、操作者は、送信機50の電源がオンとなり、送信機50の使用を簡単に開始できる。
 RTHボタンB2は押下されると、押下された旨の信号が送信機制御部61に入力される。送信機制御部61は、この信号に従い、無人航空機100に所定の位置(例えば無人航空機100の離陸位置)に自動復帰させるための信号を生成し、無線通信部63及びアンテナAN1,AN2を介して無人航空機100に送信する。これにより、操作者は、送信機50に対する簡単な操作により、無人航空機100を所定の位置に自動で復帰(帰還)させることができる。
 操作部セットOPSは、複数の操作部OP(例えば操作部OP1,…,操作部OPn)(n:2以上の整数)を用いて構成される。操作部セットOPSは、図4に示す左制御棒53L、右制御棒53R、電源ボタンB1及びRTHボタンB2を除く他の操作部(例えば、送信機50による無人航空機100の遠隔制御を支援するための各種の操作部)により構成される。ここでいう各種の操作部とは、例えば、無人航空機100の撮像装置220を用いた静止画の撮像を指示するボタン、無人航空機100の撮像装置220を用いた動画の録画の開始及び終了を指示するボタン、無人航空機100のジンバル200(図4参照)のチルト方向の傾きを調整するダイヤル、無人航空機100のフライトモードを切り替えるボタン、無人航空機100の撮像装置220の設定を行うダイヤルが該当する。
 リモートステータス表示部L1及びバッテリ残量表示部L2は、図6を参照して説明したので、ここでは説明を省略する。
 送信機制御部61は、プロセッサ(例えばCPU、MPU又はDSP)を用いて構成される。送信機制御部61は、送信機50の各部の動作を統括して制御するための信号処理、他の各部との間のデータの入出力処理、データの演算処理及びデータの記憶処理を行う。
 送信機制御部61は、無人航空機100の撮像装置220が撮像した撮像画像のデータを、無線通信部63を介して取得してメモリ(不図示)に保存し、インタフェース部65を介して携帯端末80に出力してよい。言い換えると、送信機制御部61は、無人航空機100の撮像装置220により撮像された空撮画像のデータを携帯端末80に表示させてよい。これにより、無人航空機100の撮像装置220により撮像された空撮画像は、携帯端末80において表示可能となる。
 送信機制御部61は、操作者の左制御棒53L及び右制御棒53Rの操作により、その操作により指定された無人航空機100の飛行を制御するための指示信号を生成してよい。送信機制御部61は、この指示信号を、無線通信部63及びアンテナAN1,AN2を介して、無人航空機100に送信して無人航空機100を遠隔制御してよい。これにより、送信機50は、無人航空機100の移動を遠隔で制御できる。
 送信機制御部61は、送信機50が有する任意のボタンや任意の操作部への操作に基づく操作入力信号を生成し、無線通信部63を介して、操作入力信号を無人航空機100に送信してよい。この場合、無人航空機100は、操作入力信号を送信機50から受信することで、送信機50の操作者の制御下にあることを認識可能である。
 無線通信部63は、2つのアンテナAN1,AN2と接続される。無線通信部63は、2つのアンテナAN1,AN2を介して、無人航空機100との間で所定の無線通信方式(例えばWifi(登録商標))を用いた情報やデータの送受信を行う。
 インタフェース部65は、送信機50と携帯端末80との間の情報やデータの入出力を行う。インタフェース部65は、例えば送信機50に設けられたUSBポート(不図示)でよい。インタフェース部65は、USBポート以外のインタフェースでもよい。
 図8は、携帯端末80のハードウェア構成の一例を示すブロック図である。携帯端末80は、プロセッサ81、インタフェース部82、操作部83、無線通信部85、メモリ87、及びディスプレイ88を備えてよい。携帯端末80は、位置処理装置の一例である。
 プロセッサ81は、例えばCPU、MPU又はDSPを用いて構成される。プロセッサ81は、携帯端末80の各部の動作を統括して制御するための信号処理、他の各部との間のデータの入出力処理、データの演算処理及びデータの記憶処理を行う。
 プロセッサ81は、無線通信部85を介して、無人航空機100からのデータや情報を取得してよい。プロセッサ81は、インタフェース部82を介して、送信機50からのデータや情報を取得してよい。プロセッサ81は、操作部83を介して入力されたデータや情報を取得してよい。プロセッサ81は、メモリ87に保持されたデータや情報を取得してよい。プロセッサ81は、データや情報をディスプレイ88に送り、このデータや情報に基づく表示情報をディスプレイ88に表示させてよい。
 プロセッサ81は、無人航空機100の制御を指示するためのアプリケーションを実行する。アプリケーションは、複数の無人航空機100を協調して飛行させるための相対的な位置情報を処理するための相対位置処理アプリケーションを含んでよい。プロセッサ81は、アプリケーションで用いられる各種のデータを生成してよい。
 インタフェース部82は、送信機50と携帯端末80との間の情報やデータの入出力を行う。インタフェース部82は、例えば携帯端末80に設けられたUSBコネクタ(不図示)でよい。インタフェース部65は、USBコネクタ以外のインタフェースでもよい。
 操作部83は、携帯端末80の操作者により入力されるデータや情報を受け付ける。操作部83は、ボタン、キー、タッチパネル、マイクロホン、等を含んでよい。ここでは、主に、操作部83とディスプレイ88とがタッチパネルにより構成されることを例示する。この場合、操作部83は、タッチ操作、タップ操作、ドラック操作等を受付可能である。
 無線通信部85は、各種の無線通信方式により、無人航空機100Bとの間で通信する無線通信方式は、例えば、無線LAN、Bluetooth(登録商標)、近距離無線通信、又は公衆無線回線を介した通信を含んでよい。無線通信部85は、出力部の一例である。
 メモリ87は、例えば携帯端末80の動作を規定するプログラムや設定値のデータが格納されたROMと、プロセッサ81の処理時に使用される各種の情報やデータを一時的に保存するRAMを有してよい。メモリ87は、ROM及びRAM以外のメモリが含まれてよい。メモリ87は、携帯端末80の内部に設けられてよい。メモリ87は、携帯端末80から取り外し可能に設けられてよい。プログラムは、アプリケーションプログラムを含んでよい。
 ディスプレイ88は、例えばLCD(Liquid Crystal Display)を用いて構成され、プロセッサ81から出力された各種の情報やデータを表示する。ディスプレイ88は、無人航空機100の撮像装置220により撮像された空撮画像のデータを表示してよい。ディスプレイ88は、相対位置処理アプリケーションで用いられる相対位置処理画面を表示してよい。
 図9は、携帯端末80の機能構成の一例を示すブロック図である。プロセッサ81は、メモリ87に保持されたプログラムを実行することで、UAV指定部811、位置情報取得部812、相対位置処理部813、及び撮像情報処理部814の機能を有する。UAV指定部811は、選択部の一例である。位置情報取得部812は、取得部の一例である。相対位置処理部813は、決定部の一例である。
 UAV指定部811は、複数(例えば3台)の無人航空機100の中から、1つの飛行グループを形成する複数(例えば2台)の無人航空機100を指定(選択)する。つまり、UAV指定部811は、複数の無人航空機100を指定して、1つ以上の飛行グループを形成する。UAV指定部811は、操作部83に入力された指定情報を基に、無人航空機100を指定してよい。操作部83に入力された指定情報は、タッチパネルへのタッチ情報でもよいし、無人航空機100を識別するための識別情報の入力(例えばキー入力、ボタン入力、音声入力)でもよい。
 UAV指定部811は、各種の処理画面(例えば相対位置処理画面)において表示された複数の無人航空機100のうち、操作部83を介して、飛行グループを形成する無人航空機100を指定してよい。処理画面に表示される複数の無人航空機100の位置は、位置情報取得部812により取得された各無人航空機100の位置情報に基づいて決定されてよい。
 位置情報取得部812は、無人航空機100の位置情報(例えば現在位置の情報)を取得する。位置情報取得部812は、例えば無線通信部85を介して、無人航空機100の位置情報を取得してよい。位置情報取得部812は、例えば送信機50及びインタフェース部82を介して、無人航空機100の位置情報を取得してよい。この無人航空機100の位置情報は、無人航空機100の絶対位置の情報でよい。
 無人航空機100の位置情報は、無人航空機100のGPS受信機240により受信された位置情報を含んでよい。無人航空機100の位置情報は、3次元地図データベースを参照して得られた位置情報を含んでよい。無人航空機100の位置情報は、気圧高度計270、超音波センサ280、又はレーザー測定器290により得られた高度情報を含んでよい。
 なお、本実施形態では、絶対位置の情報は、1つの無人航空機100等の物体の位置により規定される位置情報(例えば緯度、経度、高度の情報)である。これに対し、相対位置の情報は、複数の無人航空機等の物体間の位置関係により規定される位置情報(例えば何らかの基準の位置に対する距離、方向の情報)でよい。
 相対位置処理部813は、同じ飛行グループに含まれる複数の無人航空機100の相対的な位置情報を決定する。複数の無人航空機100の相対的な位置情報は、複数の無人航空機100の各々の相対的な位置関係の情報とも言える。相対位置処理部813は、複数の無人航空機100の飛行中且つ送信機50による飛行操作中における相対的な位置関係を決定してよい。
 相対位置処理部813は、同じ飛行グループに含まれる複数の無人航空機100のうち特定の1台の無人航空機100を基準として、この無人航空機100に対するその他の無人航空機100のそれぞれの位置の情報を、相対的な位置情報として決定してよい。
 相対位置処理部813は、同じ飛行グループに含まれる複数の無人航空機100の位置(絶対位置)を基に、飛行グループにおける基準となる位置(基準位置)を決定してよい。相対位置処理部813は、基準位置を基準として、基準位置に対する複数の無人航空機100の各々の位置の情報を、相対的な位置情報として決定してよい。
 相対位置処理部813は、各種の処理画面(例えば相対位置処理画面)において表示された複数の無人航空機100のうち、操作部83を介して、相対位置の設定対象の無人航空機100の位置をドラッグ操作により変更し、相対的な位置情報を変更してよい。つまり、相対位置処理部813は、ドラッグ操作により、相対的な位置情報を調整してよい。相対位置処理部813は、操作部83を介して、複数の無人航空機100の間の距離の値を取得し、この距離に基づいて相対的な位置情報を決定してよい。
 次に、同じ飛行グループに属する複数の無人航空機100の相対的な位置情報の決定例について説明する。
 同じ飛行グループに含まれる複数の無人航空機100は、各々が協調して飛行してよい。飛行グループは、携帯端末80により形成されてよい。相対的な位置情報は、携帯端末80により決定されてよい。
 図10は、位置関係処理画面SGにおける同じ飛行グループに属する無人航空機100の指定例を示す図である。位置関係処理画面SGは、ディスプレイ88の少なくとも一部に表示されてよい。以降の位置関係処理画面SGでも同様である。
 図10の位置関係処理画面SGには、UAV画像G11~G13が表示されている。UAV画像G11,G12,G13は、各無人航空機100の絶対位置に対応して表示され、3台の無人航空機100G11,100G12,100G13(いずれも不図示)の各々の位置を示す。位置関係処理画面SGにより示されるエリアは、実空間における無人航空機100が置かれたエリアに対応し、実空間のエリアに対して所定の縮尺で示されてよい。位置関係処理画面SGにおけるUAV画像G11~G13の表示位置は、位置情報取得部812により取得された絶対位置に応じた位置でよい。UAV画像は、飛行体画像の一例である。
 図10では、UAV画像G11が見やすい位置となるよう、UAV画像G11が位置関係処理画面SGの中心に位置するように表示されてよい。尚、他のUAV画像G11が中心に位置するように表示されてもよい。
 図10では、操作部83は、UAV画像G11,G12に対するタッチ操作を受け付ける。相対位置処理部813は、操作部83へのこのタッチ操作の情報を取得し、UAV画像G11,G12に対応する無人航空機100G11,100G12を、飛行グループを形成するための無人航空機100として指定する。一方、相対位置処理部813は、操作部83を介したUAV画像G13へのタッチ操作の情報を取得しないので、UAV画像G13に対応する無人航空機100G13を、飛行グループを形成するための無人航空機100として指定しない。
 図11は、位置関係処理画面SGにおける無人航空機100の水平方向の位置の調整例を示す図である。図11では、選択された複数の無人航空機100を上方から見た位置関係を示してよい。
 図11では、図10の位置関係処理画面SGにおいて選択されたUAV画像G11,G12が表示され、選択されなかったUAV画像G13は表示されていない。図11では、操作部83は、UAV画像G12に対するドラッグ操作を受け付けてよい。相対位置処理部813は、操作部83へのこのドラッグ操作の情報を取得し、ドラッグ操作に応じてUAV画像G12の表示位置を変更する。図11では、水平方向の座標を示すxy座標において、無人航空機100G11に対する無人航空機100G12の距離が、x方向に沿って距離L1(例えば50cm)となり、y方向に沿って距離0となるように、相対位置処理部813は、位置関係処理画面SGにおけるUAV画像G12の位置を、操作部83を介して調整する。この場合、UAV画像G12aからUAV画像G12bの位置へドラッグ操作される。ディスプレイ88は、このドラッグ操作に応じて、相対的な位置情報(例えば距離の情報)を表示してよい。これにより、携帯端末80の操作者は、ドラッグ操作によって変更された距離を具体的に理解できる。
 なお、図11において、各UAV画像G12内に描かれた矢印arは、撮像装置220又は230の向き、つまり撮像方向を示している。このことは、以降でも同じである。撮像装置220がメインカメラとして機能してよい。撮像装置230がサブカメラとして機能してよい。
 図12は、位置関係処理画面SGにおける無人航空機100の高さ方向(重力方向)の位置の調整例を示す図である。図12では、選択された複数の無人航空機100を水平方向から見た位置関係を示してよい。
 図12では、図10の位置関係処理画面SG1において選択されたUAV画像G11,G12が表示され、選択されなかったUAV画像G13は表示されていない。図12では、操作部83は、UAV画像G12に対するドラッグ操作を受け付けてよい。相対位置処理部813は、操作部83へのこのドラッグ操作の情報を取得し、ドラッグ操作に応じてUAV画像G12の表示位置を変更する。図12では、高さ方向の座標を示すxz座標において、無人航空機100G11に対する無人航空機100G12の距離が、x方向に沿って距離L1となり、z方向に沿って距離L2(例えば80cm)となるように、相対位置処理部813は、位置関係処理画面SG3におけるUAV画像G12の位置を、操作部83を介して調整する。この場合、UAVG12aからUAV画像G12bの位置へドラッグ操作されてよい。
 相対的な位置情報の設定時には、位置関係処理画面SG1、SG2、SG3の順に表示され、水平方向、高さ方向の順に相対的な位置情報が決定され、設定されてよい。また、相対的な位置情報の決定時には、位置関係処理画面SG1、SG3、SG2の順に表示され、高さ方向、水平方向の順に相対的な位置情報が決定され、設定されてよい。
 図11、図12に示した調整例によれば、携帯端末80の操作者は、実際の無人航空機100G11,100G12に対応するUAV画像G11,G12の表示位置をディスプレイ88上で確認しながら、UAV画像G11,G12の位置を簡単に調整できる。携帯端末80は、この簡単な操作により、UAV画像G11とUAV画像G12との間の相対的な位置関係を決定できる。また、携帯端末80の操作者は、3次元空間におけるどの方向(例えば、水平方向、高さ方向)における位置調整であるかを認識して、相対的な位置関係を調整できる。また、携帯端末80の操作者は、表示された画面に対する直感的な操作(例えばドラッグ操作)により、無人航空機100G11,100G12の間の距離を決定できる。
 図11,図12とは異なり、操作部83が、無人航空機100G11,100G12の間の具体的な距離の値を入力してもよい。相対位置処理部813は、この距離の情報(例えば水平方向に50cm、高さ方向に80cm)を、相対的な位置情報として決定してもよい。これにより、携帯端末80の操作者は、ディスプレイ88を使用せずに、相対的な位置情報を決定できる。
 このように、携帯端末80は、水平方向及び高さ方向を含む3次元空間における相対的な位置情報を決定することで、複数の無人航空機100が飛行可能な飛行範囲である3次元空間での相対的な位置関係を規定できる。よって、携帯端末80は、無人航空機100の飛行の実態に即した相対的な位置情報を決定できる。
 なお、3次元空間における相対的な位置情報を決定に限らず、2次元空間における相対的な位置情報を決定してよい。例えば、携帯端末80は、複数の無人航空機100が同一平面上(例えば水平面上)に配置されることを前提として、この平面におけるどの位置に各無人航空機100が配列されるかを決定してもよい。
 図13は、飛行グループを形成する複数の無人航空機100の水平方向の基準位置の一例を示す模式図である。図13では、飛行グループは、UAV画像G11,G12に対応する2台の無人航空機100G11,100G12を含む。飛行グループにおける相対的位置関係を決定するための基準となる位置は、基準位置RPで示されている。水平方向の基準位置RPは、同じ飛行グループに含まれる複数の無人航空機100G11,100G12の水平方向の中間位置、中心位置、重心位置、又はその他の基準となる位置でよい。
 図13では、基準位置RPの一例として、無人航空機100G11,100G12の水平方向の中心位置が示されている。複数の無人航空機100G11,100G12の相対的な位置情報として、基準位置RPに対する無人航空機100G11,100G12のそれぞれの水平方向の位置の情報が含まれてよい。具体的には、基準位置RPに対する無人航空機100G11の相対的な位置情報は、-x方向に(1/2)×L1の距離である、という情報を含んでよい。また、基準位置RPに対する無人航空機100G12の相対的な位置情報は、+x方向に(1/2)×L1の距離である、という情報を含んでよい。
 図14は、飛行グループを形成する複数の無人航空機100の高さ方向の基準位置の一例を示す模式図である。図14では、飛行グループは、UAV画像G11,G12に対応する2台の無人航空機100G11,100G12を含む。飛行グループにおける相対的位置関係を決定するための基準となる位置は、基準位置RPで示されている。高さ方向の基準位置RPは、同じ飛行グループに含まれる複数の無人航空機100G11,100G12の高さ方向の中間位置、中心位置、重心位置、その他の基準となる位置でよい。
 図14では、基準位置RPの一例として、無人航空機100G11,100G12の高さ方向の中心位置が示されている。複数の無人航空機100G11,100G12間の相対的な位置情報として、基準位置RPに対する無人航空機100G11,100G12のそれぞれの高さ方向の位置の情報が含まれてよい。具体的には、基準位置RPに対する無人航空機100G11の相対的な位置情報は、-z方向に(1/2)×L2の距離である、という情報を含んでよい。また、基準位置RPに対する無人航空機100G12の相対的な位置情報は、+z方向に(1/2)×L2の距離である、という情報を含んでよい。
 このように、相対位置処理部813は、基準位置RPに対する各無人航空機100の相対的な位置情報を決定してよい。これにより、携帯端末80は、各無人航空機100と基準位置RPとの差分により、容易に相対的な位置情報を生成できる。また、携帯端末80は、複数の無人航空機100が飛行する場合でも、飛行グループの基準位置を基準とした飛行形態にさせることができる。よって、携帯端末80は、複数の無人航空機100に対して、単体の無人航空機100の飛行形態を単純に複数に拡張したような飛行方法を提供でき、送信機50の操作者による無人航空機100の操作を容易化できる。
 相対位置処理部813は、複数の無人航空機100G11,100G12の相対的な位置情報に、水平方向及び高さ方向の少なくとも一方の距離の情報とともに、無人航空機100G11,100G12の識別情報を含めてもよい。この場合、相対的な位置情報には、無人航空機100G11,100G12の識別情報と距離の情報とが関連付けて含まれてよい。無人航空機100の識別情報は、例えば、製造時に付与される個体識別番号、操作者に設定されるユーザ識別番号、又はその他の識別情報でよい。
 このように、相対的な位置情報に、無人航空機100G11,100G12の識別情報と無人航空機100G11,100G12の相対的な位置情報とが関連付けて含まれてよい。これにより、飛行システム10は、無人航空機100G11の飛行中や送信機50による飛行操作中に、基準位置RP等に対してどの無人航空機100がどの位置を飛行すべきかを規定できる。
 次に、飛行グループを形成する複数の無人航空機100の配列決定例について説明する。
 図15は、飛行グループを形成する複数の無人航空機100の第1配列決定例を示す模式図である。
 図15では、基準位置RPを中心位置として、基準位置RPの周囲に対称的に4つのUAV画像G11,G12,G13,G14、つまり無人航空機100G11,100G12,100G13,100G14が配列される。図15では、一辺の長さがL3である正方形状の頂点に、各無人航空機100G11,100G12,100G13,100G14が配置される。図15では、無人航空機100G11に対応するUAV画像G11が、xy座標上の中心位置となっている。無人航空機100G11は、相対的な位置情報を処理する携帯端末80が取り付けられた送信機50により飛行の制御が指示される無人航空機100でよい。第1配列決定例は、+y方向が飛行グループの前進時の進行方向でよい。
 図16は、飛行グループを形成する複数の無人航空機100の第2配列決定例を示す模式図である。
 第2配列決定例は、第1配列決定例とほぼ同じであるが、図16では、基準位置RPがxy座標上の中心位置となっている。図16では、基準位置RPに対する無人航空機100G11の位置が、+y方向から-x方向に45°傾斜した方向に、(1/√2)×L3の距離であるという情報が、相対的な位置情報に含まれてよい。基準位置RPに対する無人航空機100G12,100G13,100G14のそれぞれの位置についても、相対的な位置情報に含まれてよい。第2配列決定例は、+y方向が飛行グループの前進時の進行方向でよい。
 図17は、飛行グループを形成する複数の無人航空機100の第3配列決定例を示す模式図である。
 第3配列決定例では、第2配列決定例と比較すると、各無人航空機100が備える各撮像装置220又は230の向きが異なり、各撮像装置220又は230により撮像される撮像方向が異なる。図17では、相対位置処理部813が、複数の無人航空機100の相対的な位置情報を決定するとともに、撮像情報処理部814が、複数の無人航空機100の各々の撮像方向の情報を決定してよい。撮像情報処理部814は、飛行グループを形成する無人航空機100の台数に基づいて、各無人航空機100の撮像方向の情報を決定してよい。撮像情報処理部814は、同じ飛行グループとして指定された無人航空機100の台数をメモリ87に保持しておき、取得してよい。例えば、飛行グループを形成する無人航空機100の台数が4台である場合、撮像情報処理部814は、1周である360度を均等に4分割した90度ずつ異なる撮像方向の情報を算出して決定してよい。また、撮像情報処理部814は、基準位置RPから複数の無人航空機100の各々を見た方向を、無人航空機100の各々の撮像方向とする撮像方向の情報として決定してよい。
 図17では、無人航空機100G11が上方向(例えば飛行グループの前進時の進行方向)を撮像方向とし、無人航空機100G12が右方向を撮像方向とし、無人航空機100G13が下方向を撮像方向とし、無人航空機100G14が左方向を撮像方向とする撮像方向の情報が決定されてよい。
 また、撮像情報処理部814は、各無人航空機100の撮像方向を決定する場合、各無人航空機100が備える各撮像装置220又は230の画角の情報を決定してよい。画角に応じて、撮像範囲が決定される。撮像情報処理部814は、飛行グループを形成する無人航空機100の台数に基づいて、各無人航空機100が備える各撮像装置220又は230の画角の情報を決定してよい。撮像情報処理部814は、飛行グループを形成する無人航空機100の台数が4台である場合、1周である360度を均等に4分割した90度以上として画角の情報を算出して決定してよい。
 これにより、この撮像方向や画角の情報に従う各無人航空機100が画像を撮像すると、飛行グループの周囲の360度分の撮像画像が得られる。よって、画像処理装置(例えば携帯端末80)が、これらの撮像画像を取得して所定の画像処理することで、飛行グループの周囲を被写体としたパノラマ画像やステレオ画像を得ることができる。
 図18は、飛行グループを形成する複数の無人航空機100の第4配列決定例を示す模式図である。
 第4配列決定例は、第3配列決定例とほぼ同じであるが、飛行グループを形成する無人航空機100の台数が3台であることを想定している。また、UAV画像G11,G12,G13に対応する無人航空機100G11,100G12,100G13が、それぞれ正三角形の頂点の位置に配列されている。したがって、撮像情報処理部814は、1周である360度を均等に3分割した120度ずつ異なる撮像方向の情報を算出して決定してよい。
 図18では、無人航空機100G11が、上方向(例えば飛行グループの前進時の進行方向)を撮像方向とし、無人航空機100G12が、無人航空機100G11の撮像方向を時計周りに120度回転した方向を撮像方向とし、無人航空機100G13が、無人航空機100G12の撮像方向を時計周りに120度回転した方向を撮像方向とする撮像方向の情報が決定されてよい。
 撮像情報処理部814は、1周である360度を均等に3分割した120度以上として画角の情報を算出して決定してよい。これにより、各無人航空機100が画像を撮像すると、飛行グループの周囲の360度分の撮像画像が得られる。よって、画像処理装置(例えば携帯端末80)が、これらの撮像画像を取得して所定の画像処理することで、飛行グループの周囲を被写体としたパノラマ画像やステレオ画像を得ることができる。
 図19は、飛行グループを形成する複数の無人航空機100の第5配列決定例を示す模式図である。
 第5配列決定例に示すように、基準位置RPに対して、複数の無人航空機100G11~100G14が非対称に配列され、相対的な位置情報が決定されてよい。また、無人航空機100G11~100G14の撮像方向が不均等、不規則になるように、撮像方向の情報が決定されてよい。
 撮像情報処理部814は、各無人航空機100の撮像方向や画角を含む撮像パラメータを、無人航空機100の台数に基づいて決定する代わりに、操作部83を介して入力情報として取得してもよい。これにより、携帯端末80は、対称性が無い場合等、演算等により撮像方向や画角のパラメータを画一的に決定することが困難な場合でも、複数の無人航空機100について個別に撮像パラメータを決定できる。
 このように、対称性、均等性、又は規則性を有する相対的な位置情報や撮像方向等のパラメータが決定され、設定されるだけでなく、非対称性、不均等性、又は不規則性を有する相対的な位置情報や撮像方向等のパラメータが決定され、設定されてよい。相対的な位置情報や撮像方向等のパラメータは、飛行前に無人航空機100G11~100G14の各々に設定されて、保持されてよい。これにより、同じ飛行グループを形成する無人航空機100G11~100G14の各々は、設定された相対的な位置情報や撮像パラメータが示す撮像方向や画角を維持しながら、協調して飛行できる。
 次に、飛行システム10の動作例について説明する。
 図20は、飛行システム10の動作例を示すフローチャートである。
 位置情報取得部812は、複数の無人航空機100の中から、同じ飛行グループを形成する複数の無人航空機100を指定する(S11)。相対位置処理部813は、同じ飛行グループに属する複数の無人航空機100の相対的な位置情報を決定する(S12)。撮像情報処理部814は、複数の無人航空機100の各々による撮像パラメータ(例えば撮像方向、画角の情報)を決定してよい(S13)。無線通信部85又はインタフェース部82は、決定情報(例えば、相対的な位置情報、撮像パラメータ)を、複数の無人航空機100の各々に送信してよい(S14)。
 複数の無人航空機100の各々では、通信インタフェース150が、携帯端末80からの決定情報を受信する(S15)。UAV制御部110は、受信された決定情報を、メモリ160に保持させることで、決定情報を設定する(S16)。よって、相対的な位置情報や撮像パラメータが設定される。相対的な位置情報は、複数の無人航空機100が協調して飛行する前に、各無人航空機100に設定(メモリ160に保持)されればよい。
 なお、S14では、携帯端末80により決定情報が送信されることを例示したが、その他の方法で決定情報が出力されてよい。例えば、プロセッサ81は、任意の記録媒体に対して決定情報を記録してよい。この場合、無人航空機100と携帯端末80との間で通信が不可の場合でも、記録媒体を介して、各無人航空機100に対して決定情報を設定できる。
 携帯端末80によれば、無人航空機100の飛行中に送信機50により飛行の制御を指示する場合における、飛行グループに属する複数の無人航空機100の相対的な位置情報を決定できる。この決定された情報は、無人航空機100に設定され得る。よって、携帯端末80は、送信機50により無人航空機100が飛行操作されることで、事前に設定されていない飛行ルートや飛行位置であっても、複数の無人航空機100が協調して飛行することを可能にできる。よって、携帯端末80は、協調して無人航空機100が飛行する場合でも、送信機50によりリアルタイムに飛行ルート等を指定することを可能にし、協調飛行時の無人航空機の自由度を向上できる。また、携帯端末80は、相対的な位置情報を飛行グループの各無人航空機100に提供することで、1つの送信機50により複数の無人航空機を協調して飛行させることができる。
 また、飛行システム10によれば、無人航空機100の飛行中に送信機50により飛行の制御を指示する場合における、飛行グループに属する複数の無人航空機100の相対的な位置情報を決定できる。この決定された情報は、無人航空機100に設定され得る。よって、飛行システム10は、送信機50により無人航空機100が飛行操作されることで、事前に設定されていない飛行ルートや飛行位置であっても、複数の無人航空機100が協調して飛行することを可能にできる。よって、飛行システム10は、協調して無人航空機100が飛行する場合でも、送信機50によりリアルタイムに飛行ルート等を指定することを可能にし、協調飛行時の無人航空機の自由度を向上させることができる。また、飛行システム10は、相対的な位置情報を飛行グループの各無人航空機100に提供することで、1つの送信機50により複数の無人航空機を協調して飛行させることができる。
 携帯端末80は、所定のエリアに置かれた複数の無人航空機100の位置情報をGPS等により検出して、ディスプレイ88に表示させ、UAV画像G11~G13等をタッチ操作やドラッグ操作により相対的な位置関係を調整することを説明した。この代わりに、相対位置処理部813は、複数の無人航空機100の各々においてGPS等により検出された複数の位置情報(絶対位置の情報)から、これらの複数の位置情報の間の差分を算出し、この差分を、複数の無人航空機100の相対的な位置情報として決定してよい。
 つまり、携帯端末80は、GPS等の取得された位置情報を基に、操作部83による操作を介さずに、複数の無人航空機100の相対的な位置情報を決定してよい。これにより、相対的な位置情報を決定するために特別な操作が不要となり、ユーザの利便性が向上する。
 なお、送信機50が、携帯端末80が有する機能を有してもよい。この場合、送信機50が省略されてもよい。また、携帯端末80が、送信機50が有する機能を有してもよい。この場合、送信機50が省略されてもよい。
(第2の実施形態)
 第2の実施形態では、飛行グループを形成する複数の無人航空機が、設定された相対的な位置情報を考慮して、送信機による操作信号に従って飛行することを想定する。相対的な位置情報は、第1の実施形態で説明した相対的な位置情報でよい。
 図21は、第2の実施形態における飛行システム10Aの構成例を示す模式図である。飛行システム10Aは、無人航空機100A、送信機50A、及び携帯端末80Aを備える。無人航空機100A、送信機50A、及び携帯端末80Aは、相互に有線通信又は無線通信(例えば無線LAN(Local Area Network))により通信可能である。第2の実施形態において、第1の実施形態と同様の構成や動作については、説明を省略又は簡略化する。
 図22は、無人航空機100Aのハードウェア構成の一例を示すブロック図である。無人航空機100Aは、第1の実施形態における無人航空機100と比較すると、メモリ160の代わりに、メモリ160Aを備える。図22の無人航空機100Aにおいて、図4の無人航空機100と同様の構成については、同一の符号を付し、その説明を省略又は簡略化する。
 メモリ160Aは、メモリ160の機能に有するとともに、協調制御情報CCを保持する。協調制御情報CCは、同じ飛行グループに属する複数の無人航空機100Aが協調して飛行するための制御情報を含む。協調制御情報CCは、同じ飛行グループに属する複数の無人航空機100Aの相対的な位置情報を含む。この相対的な位置情報は、基準位置RPと各無人航空機100Aとの間の距離を示す距離情報を含んでよい。この相対的な位置情報は、基準位置RPから見た各無人航空機100Aが位置する方向を示す方向情報を含んでよい。協調制御情報CCは、撮像パラメータ(例えば撮像方向の情報、画角の情報)を含んでよい。協調制御情報CCは、送信機50Aの飛行操作により複数の無人航空機100Aが協調飛行する前に、メモリ160Aに保持される。
 メモリ160Aは、同じ飛行グループについての異なる複数の協調制御情報CCを保持してよい。つまり、メモリ160Aは、同じ飛行グループについての異なる複数の相対的な位置情報を保持してよい。
 図23は、UAV制御部110Aの機能構成の一例を示すブロック図である。UAV制御部110Aは、信号取得部111、第1相対位置取得部112、第1絶対位置取得部113、第2絶対位置取得部114、撮像画像取得部115、第2相対位置取得部116、画角情報取得部117、動作モード設定部118、飛行制御部119、及び撮像制御部120を備える。
 信号取得部111は、第1の取得部の一例である。第1相対位置取得部112は、第1の取得部の一例である。第1絶対位置取得部113は、計算部の一例である。第2絶対位置取得部114は、第2の取得部の一例である。第2相対位置取得部116は、計算部の一例である。撮像画像取得部115は、第1の取得部の一例である。画角情報取得部117は、第1の取得部の一例である。飛行制御部119は、制御部の一例である。撮像制御部120は、制御部の一例である。
 信号取得部111は、各種信号を取得する。信号取得部111は、通信インタフェース150を介して、送信機50Aからの指示信号を取得してよい。指示信号は、無人航空機100Aの飛行制御を指示する信号でよい。指示信号は、無人航空機100Aを上昇又は下降させるためのスロットル指示情報を含んでよい。指示信号は、無人航空機100Aを前進又は後退させるためのピッチ指示情報を含んでよい。指示信号は、無人航空機100Aを右方向に進行(「右進」とも称する)又は左方向に進行(「左進」とも称する)させるためのロール指示情報を含んでよい。指示信号は、無人航空機100Aを右旋回又は左旋回させるためのラダー指示情報(旋回指示情報の一例)を含んでよい。
 第1相対位置取得部112は、同じ飛行グループに属する複数の無人航空機100Aの相対的な位置情報を取得する。第1相対位置取得部112は、相対的な位置情報を、メモリ160から取得してよい。第1相対位置取得部112は、相対的な位置情報を、通信インタフェース150を介して、外部装置(例えば送信機50A)から取得してよい。
 相対的な位置情報は、飛行グループにおける基準位置RPを基準とした、基準位置RPに対する無人航空機100A(自機)の相対的な位置情報を含んでよい。相対的な位置情報は、基準位置RPに対する他の無人航空機100A(他機)の相対的な位置情報を含んでよい。基準位置RPは、第1の実施形態と同様に、同じ飛行グループに含まれる複数の無人航空機100Aの中間位置、中心位置、重心位置、又はその他の基準となる位置でよい。
 相対的な位置情報は、飛行グループにおける任意の無人航空機100Aを基準とした、この任意の無人航空機100Aに対する無人航空機100A(自機)の相対的な位置情報を含んでよい。つまり、任意の無人航空機100Aの存在位置が基準位置RPとされてよい。相対的な位置情報は、飛行グループにおける任意の無人航空機100Aを基準とした、この任意の無人航空機100Aに対する他の無人航空機100A(他機)の相対的な位置情報を含んでよい。
 第1相対位置取得部112は、自機の相対的な位置情報及び他機の相対的な位置情報を含む場合、相対的な位置情報に関連付けられた無人航空機100Aの識別情報を参照して、自機の相対的な位置情報を識別して取得してよい。
 第1絶対位置取得部113は、基準位置RPの位置情報と基準位置に対する無人航空機100Aの相対的な位置情報とを基に、無人航空機100Aの位置情報(絶対位置の情報)(第2の飛行位置の情報の一例)を生成(例えば計算)してよい。基準位置の位置情報は、送信機50Aからの指示情報に含まれてよいし、過去の算出結果としてメモリ160に保持されていてもよい。
 第2絶対位置取得部114は、GPS受信機240により取得された無人航空機100Aの位置情報(第1の飛行位置情報の一例)を取得してよい。第2絶対位置取得部114は、GPS受信機240以外により得られた無人航空機100Aの位置情報を取得してもよい。
 撮像画像取得部115は、無人航空機100Aの撮像装置220又は230により撮像された撮像画像を取得してよい。通信インタフェース150を介して、他の無人航空機100Aの撮像装置220又は230により撮像された撮像画像を取得してよい。撮像画像取得部115は、メモリ160に保持された撮像画像を取得してよい。メモリ160に保持された撮像画像は、無人航空機100Aにより撮像された撮像画像でもよいし、他の無人航空機100Aにより撮像された撮像画像でもよい。
 第2相対位置取得部116は、任意の物体(例えば他の無人航空機100A)との間の相対的な位置情報を取得する。第2相対位置取得部116は、任意の物体までの距離を示す距離情報を取得してよい。第2相対位置取得部116は、超音波センサ280により得られた距離情報を取得してよい。第2相対位置取得部116は、レーザー測定器290により得られた距離情報を取得してよい。
 第2相対位置取得部116は、撮像画像取得部115から撮像画像を取得してよい。第2相対位置取得部116は、撮像画像に基づいて、撮像画像に含まれる特定の物体(例えば他の無人航空機100A)に対する無人航空機100Aの相対的な位置情報を算出し、取得してよい。第2相対位置取得部116は、撮像画像に対する特定の物体のサイズを抽出することで、特定の物体までの距離を算出し、距離情報を取得してよい。特定の物体の実際のサイズの情報を予めメモリ160等に保持すれば、距離情報が取得可能である。第2相対位置取得部116は、撮像画像における特定の物体が映り込んだ領域の位置によって、無人航空機100Aに対する特定の物体が存在する方向を算出し、取得してよい。
 第2相対位置取得部116は、取得された複数の撮像画像をステレオ画像として用いて、複数の撮像画像に映り込んだ特定の物体までの距離情報を算出してよい。この場合、特定の物体の実際のサイズが不明であっても、距離情報が取得可能である。例えば、同じ飛行グループに属する3台の無人航空機100Aのうち、前方に1台、後方に2台の無人航空機が飛行するとする。この場合、第2相対位置取得部116は、後方の2台の無人航空機100Aが前方の1台の無人航空機100Aを撮像することで、例えば三角法に従って、後方の2台の無人航空機100Aに対する前方の1台の無人航空機100Aの相対的な位置情報(例えば距離や方向の情報)を取得してよい。
 画角情報取得部117は、無人航空機100Aが備える撮像装置220又は230から撮像装置220又は230の画角情報を取得してよい。画角情報取得部117は、通信インタフェース150を介して、他の無人航空機100Aから他の無人航空機100Aが備える撮像装置220又は230の画角情報を取得してよい。
 動作モード設定部118は、無人航空機100Aの飛行中の動作モードを設定する。動作モードは、無人航空機100Aが単体で飛行するための単体動作モードを含んでよい。単体動作モードでは、1台の無人航空機100Aが、送信機50Aから取得された指示信号に基づいて、個別に飛行する。動作モードは、同じ飛行グループに含まれる複数の無人航空機100Aが協調して飛行するための協調動作モードを含んでよい。協調動作モードでは、同じ飛行グループの複数の無人航空機100Aは、1つの送信機50Aから取得された指示信号に基づいて、協調して飛行する。
 よって、無人航空機100Aは、動作モードが協調動作モードに設定されているか単体動作モード設定されているかに基づいて、複数の無人航空機100Aが飛行する際に協調して飛行するか否かを決定できる。動作モードは、例えば無人航空機100の操作部(不図示)を介して設定されてよいし、送信機50Aからの指示情報を基に設定されてもよい。
 協調動作モードは、同じ飛行グループに属する複数の無人航空機100Aが旋回(回転)するための旋回モードを含んでよい。旋回モードは、複数の旋回モードを含み、旋回の態様を示してよい。
 第1の旋回モードは、各無人航空機100Aと基準位置RPとの距離を固定して、基準位置RPを中心として、各無人航空機100Aが旋回する旋回モードでよい。つまり、第1の旋回モードでは、各無人航空機100Aの絶対位置が変化して、更に旋回が行われてよい。
 第2の旋回モードは、各無人航空機100Aの位置を固定して、各無人航空機100Aを中心として、各無人航空機100Aが旋回する旋回モードでよい。つまり、第2の旋回モードでは、各無人航空機100Aの絶対位置は変化せず、旋回が行われてよい。
 飛行制御部119は、同じ飛行グループに属する複数の無人航空機100Aの相対的な位置関係を固定して、無人航空機100A(自機)の飛行を制御する。飛行制御部119は、基準位置RPに対する無人航空機100Aの相対的な位置関係を固定して、無人航空機100A(自機)の飛行を制御してよい。この場合、基準位置RPに対する飛行グループに属する各無人航空機100Aの相対的な位置関係が固定されるので、飛行グループに属する複数の無人航空機100A全体としての相対的な位置関係も固定される。
 相対的な位置関係の固定には、基準位置RPに対する無人航空機100Aの距離を変更せずに維持することが含まれてよい。相対的な位置関係の固定には、基準方向(例えば飛行グループの前進時の進行方向)に対する撮像装置220又は230の撮像方向を変更せずに維持することが含まれてよい。
 飛行制御部119は、送信機50Aからの指示信号に基づいて、各無人航空機100Aの相対的な位置関係を維持して、無人航空機100Aの飛行を制御する。よって、飛行制御部119は、送信機50Aからのスロットル指示情報に基づいて、各無人航空機100Aの相対的な位置関係を維持して、上昇や下降の飛行制御を行ってよい。飛行制御部119は、送信機50Aからのピッチ指示情報に基づいて、各無人航空機100Aの相対的な位置関係を維持して、前進や後退の飛行制御を行ってよい。飛行制御部119は、送信機50Aからのロール指示情報に基づいて、各無人航空機100Aの相対的な位置関係を維持して、右進や左進の飛行制御を行ってよい。飛行制御部119は、送信機50Aからのラダー指示情報に基づいて、各無人航空機100Aの相対的な位置関係を維持して、右旋や左旋回の飛行制御を行ってよい。
 送信機50Aからの指示信号に基づく無人航空機100Aの飛行の制御量は、複数の無人航空機100Aの各々で同じ制御量でよい。例えば、各無人航空機100Aがラダー指示情報を受けた場合、各無人航空機100Aが旋回する旋回量や旋回角度は、同じでよい。
 飛行制御部119は、動作モードが協調動作モードに設定されている場合に、同じ飛行グループに属する複数の無人航空機100Aの相対的な位置関係を固定して、無人航空機100Aの飛行を制御してよい。飛行制御部119は、動作モードが協調動作モードに設定されていない場合に、この相対的な位置関係を固定しないで、無人航空機100Aの飛行を制御してよい。
 飛行制御部119は、動作モードが協調動作モードに設定されている場合、旋回モードがどの旋回モードに設定されているかに基づいて、同じ飛行グループに属する各無人航空機100Aの旋回の仕方を変更してよい。
 飛行制御部119は、第1の旋回モードでは、各無人航空機100Aと基準位置RPとの距離を固定して、基準位置RPを中心として、各無人航空機100Aが旋回するよう制御してよい。つまり、飛行制御部119は、第1の旋回モードでは、各無人航空機100Aの位置を変化させて、更に各無人航空機100Aを旋回させてよい。
 飛行制御部119は、第2の旋回モードでは、各無人航空機100Aの位置を固定して、各無人航空機100Aを中心として、各無人航空機100Aが旋回するよう制御してよい。つまり、飛行制御部119は、第2の旋回モードでは、各無人航空機100Aの絶対位置を変化させず、各無人航空機100Aを旋回させてよい。
 飛行制御部119は、同じ飛行グループについての異なる複数の相対的な位置情報に基づいて、複数の無人航空機100Aを異なる相対的な位置関係として、飛行制御してよい。よって、無人航空機100Aは、用いる相対的な位置情報を変更することで、複数の無人航空機100Aの相対的な位置関係を変更してよい。
 撮像制御部120は、動作モードが協調動作モードに設定された場合、同じ飛行グループに属する無人航空機100Aの台数に基づいて、無人航空機100Aが備える撮像装置220又は230の画角を制御してよい。同じ飛行グループに属する無人航空機100Aの台数の情報は、メモリ160に保持されておいてよい。撮像制御部120は、この無人航空機100Aの台数の情報をメモリ160から取得してよい。
 撮像制御部120は、メモリ160に保持された撮像パラメータに含まれる画角の情報を取得し、画角の情報に基づいて、撮像装置220又は230の画角を制御してよい。
 撮像制御部120は、撮像装置220又は230の画角を算出して取得してよい。例えば、同じ飛行グループを形成する無人航空機100Aの台数が4台である場合、撮像制御部120は、1周である360度を均等に4分割した90度以上を、4台の無人航空機100Aのそれぞれの画角として算出してよい。この場合、撮像制御部120は、4台の無人航空機100Aのそれぞれの画角が90度以上となるよう制御してよい。例えば、同じ飛行グループを形成する無人航空機100Aの台数が3台である場合、撮像制御部120は、1周である360度を均等に3分割した120度以上を、3台の無人航空機100Aのそれぞれの画角として算出してよい。この場合、撮像制御部120は、3台の無人航空機100Aのそれぞれの画角が120度以上となるよう制御してよい。
 撮像制御部120は、動作モードが協調動作モードに設定された場合、同じ飛行グループに属する無人航空機100Aの台数に基づいて、無人航空機100Aが備える撮像装置220又は230の撮像方向を制御してよい。
 撮像制御部120は、メモリ160に保持された撮像パラメータに含まれる撮像方向の情報を取得し、撮像方向の情報に基づいて、撮像装置220又は230の撮像方向を制御してよい。
 撮像制御部120は、撮像装置220又は230の撮像方向を算出して取得してよい。例えば、同じ飛行グループを形成する無人航空機100Aの台数が4台である場合、撮像制御部120は、1周である360度を均等に4分割した90度ずつ異なる撮像方向を算出して取得してよい。同じ飛行グループを形成する無人航空機100Aの台数が3台である場合、撮像制御部120は、1周である360度を均等に3分割した120度ずつ異なる撮像方向を算出して取得してよい。撮像制御部120は、算出された撮像方向となるように、撮像装置220又は230の撮像方向を制御してよい。
 撮像制御部120は、飛行グループの基準位置RPから複数の無人航空機100Aの位置の各々を見た方向が無人航空機100Aの各々の撮像方向となるように、撮像方向を制御してよい。
 図24は、携帯端末80Aの機能構成の一例を示すブロック図である。携帯端末80Aは、プロセッサ81Aは、メモリ87に保持されたプログラムを実行することで、撮像画像取得部816及び画像処理部817の機能を有する。
 撮像画像取得部816は、同じ飛行グループを形成する複数の無人航空機100Aの各々により撮像されたそれぞれの撮像画像を取得する。撮像画像取得部816は、インタフェース部82又は無線通信部85を介して、それぞれの撮像画像を取得してよい。
 画像処理部817は、撮像画像取得部816により取得された複数の撮像画像に対して任意の画像処理を行う。画像処理部817は、複数の撮像画像に基づいて、パノラマ画像やステレオ画像を生成してよい。画像処理部817は、撮像方向の異なる複数の撮像画像を合成することで、パノラマ画像を生成してよい。複数の画像により360度の全方位がカバーされている場合、画像処理部817は、全方位のパノラマ画像を生成できる。画像処理部817は、複数の撮像画像に含まれる撮像方向が隣り合う2つの撮像画像の撮像範囲が一部重複している場合、画像処理部817は、ステレオ画像を生成してよい。隣り合う2つの撮像画像の撮像範囲が一部重複し、複数の画像により360度の全方位がカバーされている場合、画像処理部817は、全方位のステレオ画像を生成できる。
 なお、撮像画像に基づくパノラマ画像やステレオ画像の生成等の画像処理は、携帯端末80A以外の装置で行われてよい。この画像処理は、送信機50A、いずれか1つ以上の無人航空機100A、PC(Personal Computer)(不図示)により行われてもよい。例えば、各無人航空機100Aの飛行中には各無人航空機100Aにより撮像された撮像画像が、各無人航空機100Aが備えるメモリ160としてのSDカードに保存されてよい。各無人航空機100Aの着陸後、PC等にSDカードに保存された複数の撮像画像が取り込まれ、画像処理されてよい。
 次に、送信機50Aからの指示信号の種別に応じた回転翼211の回転方法について説明する。
 飛行制御部119は、送信機50Aからの指示信号に基づいて、無人航空機100Aの飛行を制御してよい。この場合、飛行制御部119は、各回転翼211の回転数(単位時間当たりの回転数)を制御してよい。
 図25は、送信機50Aからの指示信号の種別に応じた回転翼211の回転方法を説明するための図である。図24に示すように、無人航空機100Aを上方から見た平面視において、UAV本体102に対してバッテリ103が装着された方向と反対方向(矢印αの方向)が、無人航空機100Aの前進時の進行方向である。無人航空機100Aの前進時の進行方向である。4つの回転翼211は、回転翼211a,211b,211c,211dを含んでよい。回転翼211a,211bは反時計周りに回転し、回転翼211b,211bは反時計周りに回転してよい。送信機50Aからの指示信号は、スロットル指示情報、ピッチ指示情報、ロール指示情報、及びラダー指示情報のうち少なくとも1つを含んでよい。
 飛行制御部119は、スロットル指示情報を受けると、4つの回転翼211a,211b,211c,211dの回転数を制御する。スロットル指示情報は、上昇指示情報と下降指示情報とを含んでよい。飛行制御部119は、上昇指示情報を受けると、4つの回転翼211a~211dの回転数を増大させる。4つの回転翼211a~211dの回転数が増大すると、無人航空機100Aが上昇する。飛行制御部119は、下降指示情報を受けると、4つの回転翼211a~211dの回転数を減少させる。4つの回転翼211a~211dの回転数が減少すると、無人航空機100Aが下降する。
 飛行制御部119は、ピッチ指示情報を受けると、無人航空機100Aの後方に位置する回転翼211a,211b又は無人航空機100Aの前方に位置する回転翼211c,211dの回転数を制御してよい。ピッチ指示情報は、前進指示情報と後退指示情報とを含んでよい。飛行制御部119は、前進指示情報を受けると、2つの回転翼211a,211bの回転数を増大させる。2つの回転翼211a,211bの回転数が増大すると、無人航空機100Aが矢印αの方向に前進する。飛行制御部119は、後退指示情報を受けると、2つの回転翼211c、211dの回転数を増大させる。2つの回転翼211c,211dの回転数が増大すると、無人航空機100Aが後退する。
 飛行制御部119は、ロール指示情報を受けると、無人航空機100Aの左方に位置する回転翼211a,211c又は無人航空機100Aの右方に位置する回転翼211b,211dの回転数を制御してよい。ロール指示情報は、右進指示情報と左進指示情報とを含んでよい。飛行制御部119は、右進指示情報を受けると、2つの回転翼211a,211cの回転数を増大させる。2つの回転翼211a,211cの回転数が増大すると、無人航空機100Aが右進する。飛行制御部119は、左進指示情報を受けると、2つの回転翼211b、211dの回転数を増大させる。2つの回転翼211b,211dの回転数が増大すると、無人航空機100Aが左進する。
 飛行制御部119は、ラダー指示情報を受けると、無人航空機100Aの対角線上に位置する回転翼211a,211d又は回転翼211b,211cの回転数を制御してよい。ラダー指示情報は、右旋回指示情報と左旋回指示情報とを含んでよい。飛行制御部119は、右旋回指示情報を受けると、2つの回転翼211b,211cの回転数を増大させる。2つの回転翼211b,211cの回転数が増大すると、無人航空機100Aが右旋回する。飛行制御部119は、左旋回指示情報を受けると、2つの回転翼211a、211dの回転数を増大させる。2つの回転翼211a,211dの回転数が増大すると、無人航空機100Aが左旋回する。
 次に、複数の無人航空機100Aの相対的な位置関係の維持方法について説明する。
 飛行制御部119は、メモリ160に保持(設定)された協調制御情報CCに含まれる相対的な位置情報と、第2相対位置取得部116により取得された相対的な位置情報と、が一致するように、無人航空機100Aの飛行を制御してよい。
 協調制御情報CCに含まれる相対的な位置情報は、飛行前に得られる情報であり、協調飛行した場合の相対的な位置情報の予測値とも言える。第2相対位置取得部116により取得された相対的な位置情報は、飛行中の何らかの情報を基に得られる情報であり、実際に協調飛行した際の相対的な位置情報の実測値とも言える。
 第2相対位置取得部116により取得された相対的な位置情報は、無人航空機100Aから他の無人航空機100Aの方向を撮像した撮像画像に基づいて取得された情報でよい。
 飛行制御部119は、撮像画像により得られた無人航空機100Aと他の無人航空機100Aとの間の距離情報や方向情報が一定となるように、フィードバックして飛行制御してよい。これにより、距離情報や方向情報が一定に維持され、無人航空機100Aと他の無人航空機100Aとの間の相対的な位置関係を維持できる。また、撮像画像を用いるので、撮像装置220又は230が設けられればよく、相対的な位置関係を維持するために特別なセンサ(例えばGPS受信機240、超音波センサ280、レーザー測定器290)を設けることが不要となる。
 協調制御情報CCに含まれる相対的な位置情報は、無人航空機100Aと他の無人航空機100Aとの間の距離情報でよい。第2相対位置取得部116により取得された相対的な位置情報は、無人航空機100Aと他の無人航空機100Aとの間の距離情報でよい。つまり、飛行制御部119は、協調制御情報CCに含まれる距離情報と、第2相対位置取得部116により取得された距離情報と、が一致するように、無人航空機100Aの飛行を制御してよい。
 協調制御情報CCに含まれる距離情報は、飛行前に得られる情報であり、協調飛行した場合の距離情報の予測値とも言える。第2相対位置取得部116により取得された距離情報は、飛行中の何らかの情報を基に得られる情報であり、実際に協調飛行した際の距離情報の実測値とも言える。
 飛行制御部119は、超音波センサ280やレーザー測定器290により得られた無人航空機100Aと他の無人航空機100Aとの間の距離情報が一定となるように、フィードバックして飛行制御してよい。これにより、距離情報が一定に維持され、無人航空機100Aと他の無人航空機100Aとの間の相対的な位置関係を維持できる。また、無人航空機100Aは、超音波センサ280やレーザー測定器290を用いることで、より高精度な距離情報を取得できる。
 飛行制御部119は、第1絶対位置取得部113により取得された無人航空機100Aの位置情報と、第2絶対位置取得部114により取得された無人航空機100Aの位置情報と、が一致するように、無人航空機100Aの飛行を制御してよい。
 第1絶対位置取得部113により取得された無人航空機100Aの位置情報は、飛行前に得られる情報であり、協調飛行した場合の無人航空機100Aの絶対位置の情報の予測値とも言える。第2相対位置取得部116により取得された無人航空機100Aの位置情報は、飛行中の何らかの情報を基に得られる情報であり、実際に協調飛行した際の無人航空機100Aの絶対位置の情報の実測値とも言える。
 飛行制御部119は、GPS受信機240等により得られた無人航空機100Aの位置情報が飛行前の相対的な位置情報に基づく無人航空機100Aの位置情報と一致するように、フィードバックして飛行制御してよい。これにより、無人航空機100Aと他の無人航空機100Aとの間の相対的な位置関係を維持できる。また、GPS受信機240等は比較的実装が容易であるので、簡単に相対的な位置関係を維持できる。
 飛行制御部119は、画角情報取得部117により取得された無人航空機100A(自機)の画角情報と他の無人航空機100A(他機)の画角情報との差分を維持するように、無人航空機100Aの飛行を制御してよい。
 相対的な位置関係が変化すると、例えば複数の無人航空機100Aの各々が備えるそれぞれの撮像装置220又は230により同じ被写体を撮像した際の画角が変化する。そのため、それぞれの撮像装置220又は230の画角の差分が変化する。飛行制御部119は、この画角の差分が一定になるように、無人航空機100Aの飛行においてフィードバック制御することで、複数の無人航空機100Aの相対的な位置関係を維持できる。また、撮像装置220又は230が有する画角の情報を用いるので、相対的な位置関係を維持するために特別なセンサ(例えばGPS受信機240、超音波センサ280、レーザー測定器290)を設けることが不要となる。
 次に、相対的な位置関係を維持した複数の無人航空機100Aの飛行形態について説明する。
 図26は、飛行グループを形成する複数の無人航空機100Aと基準位置RPに位置する仮想機100vとの一例を示す模式図である。図26では、複数の無人航空機100Aとして、2台の無人航空機100r1,100r2が示されている。仮想機100vは、基準位置RPに位置する仮想的な無人航空機を示す。仮想直線VL1,VL2は、基準位置RPつまり仮想機100vと無人航空機100r1,100r2のそれぞれとを仮想的に結ぶ直線である。
 図26では、基準位置RPに対して2台の無人航空機100r1,100r2が対称に配列されている。そのため、基準位置RPと無人航空機100r1を結ぶ仮想直線VL1と基準位置RPと無人航空機100r2を結ぶ仮想直線VL2とが一直線となっている。なお、複数の仮想直線VL1,VL2は、一直線とならなくてもよい。
 図26では、飛行グループの各無人航空機100r1,100r2の前進時の進行方向は、いずれも矢印α1に示す上方向である。飛行グループの進行方向は、送信機50Aからの指示信号に応じて変更され得る。
 なお、図26において、各無人航空機100A(例えば無人航空機100r1,100r2)内に描かれた矢印arは、撮像装置220又は230の向き、つまり撮像方向を示している。このことは、以降でも同じである。
 各無人航空機100r1,100r2は、送信機50Aから飛行制御を指示される。送信機50Aは、仮想機100vの絶対位置を基準に、指示信号を各無人航空機100r1,100r2に与える。各無人航空機100Aは、基準位置RPつまり仮想機100vに対する相対的な位置関係を固定しながら、送信機50Aからの指示信号に従って、飛行を制御してよい。相対的な位置関係が固定されるので、仮想直線VLの長さが変更されずに、基準位置RPに対する各無人航空機100r1,100r2の位置関係が変更されずに、各無人航空機100r1,100r2が飛行制御する。
 各無人航空機100r1,100r2では、飛行制御部119は、送信機50Aからの指示信号がいずれの飛行に関する指示情報(例えばスロットル指示情報、ピッチ指示情報、ロール指示情報、ラダー指示情報)を含む場合でも、協調して飛行する複数の無人航空機100r1,100r2の相対的な位置関係を崩さずに維持し、固定して、送信機50Aからの指示情報に従って飛行を制御する。これにより、各無人航空機100r1,100r2は、1つの送信機50Aからの指示信号に基づいて、協調して飛行可能となる。送信機50Aは、1つの仮想機100vを操作しているような感覚で、複数の無人航空機100r1,100r2の飛行制御を容易に指示できる。
 図27は、動作モードが協調モード且つ第1の旋回モードに設定された場合の各無人航空機100Aの旋回例を示す模式図である。
 第1の旋回モードでは、各無人航空機100r1,r2と基準位置RPとの距離を固定して、基準位置RPを中心として、各無人航空機100r1,100r2が旋回する。つまり、仮想直線VLが基準位置RPを中心として旋回し、これに伴って仮想直線VL1,VL2の端部ep1,ep2に位置する各無人航空機100r1,100r2も旋回するとも言える。送信機50A側から見ると、送信機50Aは、仮想機100vに対してラダー指示情報を送信することで、各無人航空機100r1,r2がラダー指示情報を受信し、ラダー指示情報に基づいて、相対的な位置関係を固定して旋回する。
 図27では、飛行グループの各無人航空機100r1,100r2の進行方向は、いずれも矢印α2に示す左上方向である。つまり、飛行グループの各無人航空機100r1,100r2の進行方向は、送信機50Aからのラダー指示情報に応じて、矢印α1から矢印α2に変更されてよい。
 第1の旋回モードでの旋回によれば、協調飛行する複数の無人航空機100Aは、仮想直線VLが回転するように旋回できる。この場合、進行方向α2と仮想直線VL1,VL2の成す角度は変化しない。そのため、各無人航空機100r1,100r2が旋回しても、各無人航空機100r1,100r2により撮像される撮像範囲の位置関係が変化しない。よって、無人航空機100r1,100r2により撮像された複数の撮像画像からパノラマ画像が生成される場合、パノラマ画像に寄与する無人航空機100r1,100r2により撮像画像の位置関係が変化しない。したがって、送信機50Aの操作者は、1台の撮像範囲の広い撮像装置を備える仮想機100vが旋回するのと同等の間隔で、複数の無人航空機100Aを操作できる。
 図28は、動作モードが協調モード且つ第2の旋回モードに設定された場合の各無人航空機100Aの旋回例を示す模式図である。
 第2の旋回モードでは、各無人航空機100r1,100r2の位置を固定して、各無人航空機100Aを中心として、各無人航空機100r1,100r2が旋回する。つまり、仮想直線VLは旋回せず、仮想直線VLの端部ep1,ep2に位置する各無人航空機100r1,100r2が、この端部ep1,ep2において旋回するとも言える。仮想直線VLが旋回しないので、各無人航空機100r1,100r2の絶対位置はラダー指示情報のみでは変化しない。送信機50A側から見ると、送信機50Aは、仮想機100vに対してラダー指示情報を送信することで、各無人航空機100r1,r2がラダー指示情報を受信し、ラダー指示情報に基づいて、相対的な位置関係を固定して旋回する。
 図28では、飛行グループの各無人航空機100r1,100r2の進行方向は、いずれも矢印α3に示す左上方向である。つまり、飛行グループの各無人航空機100r1,100r2の進行方向は、送信機50Aからのラダー指示情報に応じて、矢印α1から矢印α3に変更されてよい。
 第2の旋回モードでの旋回によれば、飛行システム10Aは、協調飛行する複数の無人航空機100Aは、仮想直線VLが回転しないように旋回できる。そのため、第2の旋回モードでは、第1の旋回モードと比較すると、複数の無人航空機100Aがラダー指示情報に基づいて飛行する飛行範囲が狭くなる。言い換えると、第1の旋回モードでは仮想直線VLが基準位置RPを中心として回転することで、飛行グループの各無人航空機100Aの飛行の軌跡が例えば円形となり、円形の内側が旋回時に必要な飛行範囲となる。一方第2の旋回モードでは、仮想直線VLが示す直線的な範囲が、旋回時に必要な飛行範囲となる。よって、例えば比較的狭い空間に複数の無人航空機100Aが進行する場合でも、各無人航空機100Aは、ラダー指示情報に従って飛行できる。
 図29は、飛行グループを形成する3台の無人航空機100r1,100r2,100r3の飛行時の第1配列例を示す模式図である。
 図29では、3台の無人航空機100r1~100r3は、基準位置RPから等距離に、正三角形の各頂点に相当する位置に配列される。基準位置RPと3台の無人航空機100r1~100r3の各々とを結ぶそれぞれの仮想直線は、仮想直線VL1,VL2,VL3として示されている。3台の無人航空機100r1~100r3は、各仮想直線VL1~VL3の端部ep1,ep2,ep3に位置する。図29では、飛行グループの各無人航空機100r1~100r3の進行方向は、いずれも矢印α4に示す左上方向である。
 図29では、各無人航空機100r1~100r3の撮像方向は、基準位置RPを起点として仮想直線VL1~VL3が延びる方向と一致している。従って、各々の撮像方向は、120度ずつ均等に異なっている。各無人航空機100r1~100r3の撮像方向は、無人航空機100r1~100r3の各々の撮像制御部120により設定されてよい。また、各無人航空機100r1~100r3が備える撮像装置220又は230は、画角が120度以上に設定されてよい。
 無人航空機100r1~100r3の各々は、無人航空機100r1~100r3の各々の撮像装置220又は230により撮像された撮像画像を、携帯端末80Aへ送信してよい。携帯端末80Aは、無人航空機100r1~100r3の各々からの撮像画像を受信してよい。
 携帯端末80Aは、120度ずつ異なる撮像方向で120度以上の画角で撮像された複数の撮像画像を取得してよい。この場合、無人航空機100r1~100r3の少なくとも2台により撮像された撮像画像に基づいて、パノラマ画像を生成してよい。携帯端末80Aは、無人航空機100r1~100r3により撮像された撮像画像に基づいて、全方位のパノラマ画像を生成してよい。
 なお、パノラマ画像の生成が可能となるように、同じ飛行グループに属する無人航空機100Aの台数に基づいて、この飛行グループに属する複数の無人航空機100Aの配列が決定されてよい。つまり、第1相対位置取得部112は、無人航空機100Aの台数に基づいて、各無人航空機100Aを自動配列されてよい。この場合、各無人航空機100Aの第1相対位置取得部112が、基準位置RPに対する各無人航空機100の各々の配置位置を決定してよい。例えば、各無人航空機100Aの第1相対位置取得部112は、無人航空機100Aの識別番号順に、基準位置RPに対して等距離に、等角度で、各無人航空機100が配置されてよい。この場合、基準位置RPを重心とする正三角形の頂点の位置に、各無人航空機100r1~100r3が配置されてよい。
 図30は、図29に示した3台の無人航空機100r1,100r2,100r3による第1の旋回モードでの旋回例を示す模式図である。
 図30では、各無人航空機100r1,100r2,100r3と基準位置RPとの距離を固定して、基準位置RPを中心として、各無人航空機100r1~100r3が旋回する。つまり、仮想直線VL1,VL2,VL3が基準位置RPを中心として旋回し、これに伴って仮想直線VL1~VL3の端部ep1,ep2,ep3に位置する各無人航空機100r1~100r3も旋回するとも言える。つまり、3台以上の無人航空機100Aが飛行グループを形成する場合でも、各無人航空機100Aは第1の旋回モードに従った旋回が可能である。図30では、飛行グループの各無人航空機100r1~100r3の旋回による進行方向は、いずれも矢印α5に示す左上方向である。
 なお、詳細な説明を省略しているが、第1の旋回モードと同様に、3台以上の無人航空機100Aが飛行グループを形成する場合でも、各無人航空機100Aは第2の旋回モードに従った旋回が可能である。
 図31は、飛行グループを形成する5台の無人航空機100r1,100r2,100r3,100r4,100r5の飛行時の配列例を示す模式図である。
 図31では、5台の無人航空機100r1~100r5が、基準位置RPを基準として配置されている。無人航空機100r1~100r5の各々と基準位置RPとは、仮想直線VL1,VL2,VL3,VL4,VL5の各々で接続される。
 同じ飛行グループにおける前方(各無人航空機100r1~100r5の前進時の進行方向α6)に位置する2台の無人航空機100r1,100r2は、撮像方向が前方向(上方向)とされる。同じ飛行グループにおける前方以外に位置する3台の無人航空機100r3,100r4,100r5は、撮像方向がそれぞれ90度ずつ異なる。具体的には、図31では、無人航空機100r3の撮像方向は右方向であり、無人航空機100r4の撮像方向は後方向(下方向)であり、無人航空機100r5の撮像方向は左方向である。また、各無人航空機100r1~100r5は、各機が備える撮像装置220又は230の画角を90度以上に設定してよい。各撮像方向及び各画角は、無人航空機100~1~100r5が備える撮像制御部120により設定されてよい。
 無人航空機100r1~100r5の各々は、無人航空機100r1~100r5の各々の撮像装置220又は230により撮像された撮像画像を、携帯端末80Aへ送信してよい。携帯端末80Aは、無人航空機100r1~100r5の各々からの撮像画像を受信してよい。
 無人航空機100r1,100r2の撮像装置220又は230による撮像範囲は、一部重複してよい。携帯端末80Aは、無人航空機100r1,100r2の各々により撮像された撮像画像に基づいて、ステレオ画像を生成してよい。
 また、携帯端末80Aは、90度ずつ異なる撮像方向で90度以上の画角で撮像された撮像画像を取得してよい。この場合、無人航空機100r1,101r2の少なくとも一方により撮像された撮像画像と無人航空機100r1~100r3により撮像された撮像画像とに基づいて、パノラマ画像(例えば全方位のパノラマ画像)を生成してよい。
 このように、飛行システム10Aでは、無人航空機100Aは、飛行グループを形成する無人航空機100Aの台数(例えば4台)に基づいて画角(例えば90度以上)及び撮像方向(例えば90度ずつ異なる方向)を制御することで、送信機50Aに対する精密な飛行操作を必要とせずに、パノラマ画像やステレオ画像の生成に好適な複数の撮像画像を取得できる。特に、複数の無人航空機100Aにより撮像される撮像画像のうち、1つでも画質が劣化したり撮像画像に対する被写体の位置がずれたりすると、パノラマ画像やステレオ画像の画質に影響が生じる。携帯端末80Aは、1つの飛行グループに属する複数の無人航空機100Aから、画質の劣化や撮像画像に対する被写体の位置ずれが抑制された複数の撮像画像を取得できる。よって、携帯端末80Aは、所望のパノラマ画像やステレオ画像を取得できる。
 なお、詳細な説明は省略したが、各無人航空機100r1~100r5は、送信機50Aからラダー指示情報を取得すると、第1の旋回モード又は第2の旋回モードでの旋回方法で、相対的な位置関係を固定して、旋回してよい。
 図32Aは、飛行グループを形成する3台の無人航空機100r1,100r2,100r3の飛行時の水平方向における第2配列例を模式図である。図32Bは、飛行グループを形成する3台の無人航空機100r1,100r2,100r3の飛行時の高さ方向における第2配列例を模式図である。
 図32A,図32Bでは、2台の無人航空機100r1,100r2が、飛行グループにおける前方(前進時の進行方向α7)で飛行する。1台の無人航空機100r3が、飛行グループにおける後方に配列されている。また、1台の無人航空機100r3は、2台の無人航空機100r1,100r2よりも高い高度で飛行する。無人航空機100r1~100r3の各々の撮像方向は、いずれも前進時の進行方向である。無人航空機100r3は、無人航空機100r1,100r2を高い高度を飛行することで、無人航空機100r1,100r2の飛行を管理し易くなる。
 無人航空機100r1~100r3の各々は、無人航空機100r1~100r3の各々の撮像装置220又は230により撮像された撮像画像を、携帯端末80Aへ送信してよい。携帯端末80Aは、無人航空機100r1~100r3の各々からの撮像画像を受信してよい。
 無人航空機100r3の撮像装置220又は230の撮像範囲には、前方を飛行する無人航空機100r1,100r2が含まれてよい。この場合、無人航空機100r3の撮像装置220又は230により撮像された撮像画像には、無人航空機100r1,100r2が映り込む。この場合、送信機50Aの操作者は、携帯端末80Aに表示された無人航空機100r3からの撮像画像(操作用の画像)を確認しながら、複数の無人航空機100r1~100r3の協調した飛行制御を指示できる。
 無人航空機100r1,100r2による撮像範囲は、一部重複してよい。この場合、携帯端末80Aは、無人航空機100r1,100r2の各々により撮像された撮像画像に基づいて、ステレオ画像を生成してよい。
 また、先方を飛行する2台の無人航空機100r1,100r2のうちの一方の撮像装置230が、2台の無人航空機100r1,100r2のうちの他方を撮像してよい。この場合、撮像装置230は、相互に撮像可能となるように、水平方向を撮像方向としてUAV本体102等に固定配置されてよい。この場合、無人航空機100Aは、水平方向における前後方向でなく左右方向においても、協調して飛行する他の無人航空機100Aの相対的な位置情報(例えば距離情報)を取得できる。
 図32A,図32Bに示す配列例によれば、飛行システム10Aは、送信機50Aの操作者が操作し易くなるように、送信機50Aによる操作に際して、協調して飛行する飛行グループ内の少なくとも一部の無人航空機100Aが映り込んだ画像を提供できる。よって、送信機50Aは、飛行グループ内の少なくとも一部の無人航空機100Aを視認しながら、簡単な操作で複数の無人航空機100Aを操作し、ステレオ画像の取得を所望するエリアへ複数の無人航空機100Aを進行させることができる。
 次に、無人航空機100Aの動作例について説明する。
 図33は、無人航空機100Aの動作例を示すフローチャートである。なお、同じ飛行グループに属する複数の無人航空機100Aは、各々、同様に動作する。
 飛行制御部119は、メモリ160に保持された飛行グループに属する複数の無人航空機100Aの相対的な位置情報を含む協調制御情報CCを取得する(S21)。信号取得部111は、送信機50Aからの指示信号を受信する(S22)。飛行制御部119は、送信機50Aからの指示信号に基づいて、同じ飛行グループに属する各無人航空機100Aの相対的な位置関係を固定して、無人航空機100A(自機)の飛行を制御する(S23)。
 無人航空機100Aによれば、飛行中に送信機50Aにより飛行の制御の指示を受ける場合における、飛行グループに属する複数の無人航空機100Aの相対的な位置情報を取得できる。無人航空機100Aは、1つの送信機50Aにより無人航空機100Aが飛行操作されることで、事前に設定されていない飛行ルートや飛行位置でも、他の無人航空機100Aとの間の相対的な位置関係を固定して、他の無人航空機100Aと協調して飛行できる。よって、無人航空機100Aは、他の無人航空機100Aと協調飛行する場合でも、1つの送信機50Aによりリアルタイムに飛行ルート等を指定されることが可能である。即ち、無人航空機100Aは、協調飛行時の飛行の自由度を向上できる。
 飛行システム10Aによれば、各無人航空機100Aが飛行中に送信機50Aにより飛行の制御の指示を受ける場合における、飛行グループに属する複数の無人航空機100Aの相対的な位置情報を取得できる。飛行システム10Aは、1つの送信機50Aにより各無人航空機100Aが飛行操作されることで、事前に設定されていない飛行ルートや飛行位置でも、複数の無人航空機100Aとの間の相対的な位置関係を固定して、複数の無人航空機100Aが協調して飛行できる。よって、飛行システム10Aにおける複数の無人航空機100Aは、協調飛行する場合でも、1つの送信機50Aによりリアルタイムに飛行ルート等を指定されることが可能である。即ち、飛行システム10Aは、複数の無人航空機100Aの協調飛行時の飛行の自由度を向上できる。
 以上、本開示を実施形態を用いて説明したが、本開示の技術的範囲は上述した実施形態に記載の範囲には限定されない。上述した実施形態に、多様な変更又は改良を加えることが当業者に明らかである。その様な変更又は改良を加えた形態も本開示の技術的範囲に含まれ得ることが、特許請求の範囲の記載からも明らかである。
 特許請求の範囲、明細書、及び図面中において示した装置、システム、プログラム、及び方法における動作、手順、ステップ、及び段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現可能である。特許請求の範囲、明細書、及び図面中の動作フローに関して、便宜上「先ず、」、「次に」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。
10,10A 飛行システム
50,50A 送信機
50B 筐体
53L 左制御棒
53R 右制御棒
61 送信機制御部
63 無線通信部
65 インタフェース部
80,80A 携帯端末
81,81A プロセッサ
82 インタフェース部
83 操作部
85 無線通信部
87 メモリ
88 ディスプレイ
100,100A,100r1,100r2,100r3、100r4,100r5 無人航空機
102 UAV本体
103 バッテリ
110,110A UAV制御部
111 信号取得部
112 第1相対位置取得部
113 第1絶対位置取得部
114 第2絶対位置取得部
115 撮像画像取得部
116 第2相対位置取得部
117 画角情報取得部
118 動作モード設定部
119 飛行制御部
120 撮像制御部
150 通信インタフェース
160 メモリ
200 ジンバル
210 回転翼機構
211,211a,211b,211c,211d 回転翼
212 駆動モータ
213 電流センサ
220,230 撮像装置
230 撮像装置
240 GPS受信機
250 慣性計測装置
260 磁気コンパス
270 気圧高度計
280 超音波センサ
290 レーザー測定器
811 UAV指定部
812 位置情報取得部
813 相対位置処理部
814 撮像情報処理部
816 撮像画像取得部
817 画像処理部
AN1,AN2 アンテナ
B1 電源ボタン
B2 RTHボタン
L1 リモートステータス表示部
L2 バッテリ残量表示部
OPS 操作部セット
G11,G12,G13,G14 UAV画像

Claims (50)

  1.  複数の飛行体の位置情報を処理する位置処理装置であって、
     前記複数の飛行体を選択し、選択された前記複数の飛行体が飛行グループを形成する選択部と、
     前記飛行体の制御を指示する操作装置による操作中における、前記飛行グループに属する前記複数の飛行体の相対的な位置情報である第1の相対的な位置情報を決定する決定部と、
     を備える位置処理装置。
  2.  前記決定部は、前記第1の相対的な位置情報として、前記飛行グループに属する複数の飛行体の基準位置に対する前記複数の飛行体の各々の相対的な位置情報を決定する、
     請求項1に記載の位置処理装置。
  3.  前記決定部は、前記複数の飛行体の各々の識別情報と、前記識別情報により識別される飛行体の各々の相対的な位置情報と、を関連付けて決定する、
     請求項2に記載の位置処理装置。
  4.  前記第1の相対的な位置情報は、前記複数の飛行体の3次元空間における相対的な位置情報を含む、
     請求項1~3のいずれか1項に記載の位置処理装置。
  5.  前記第1の相対的な位置情報は、前記複数の飛行体の水平方向の距離情報を含む、
     請求項4に記載の位置処理装置。
  6.  前記第1の相対的な位置情報は、前記複数の飛行体の重力方向の距離情報を含む、
     請求項4に記載の位置処理装置。
  7.  前記複数の飛行体を示す複数の飛行体画像を表示する表示部と、
     入力を受け付ける操作部と、を更に備え、
     前記決定部は、前記表示部に表示された前記複数の飛行体画像の位置を、前記操作部への入力により変更することで、前記第1の相対的な位置情報を変更する、
     請求項1~6のいずれか1項に記載の位置処理装置。
  8.  前記操作部は、ドラッグ操作による入力を受け付ける、
     請求項7に記載の位置処理装置。
  9.  前記表示部は、前記ドラッグ操作により変更された複数の前記飛行体画像の位置に基づいて、前記複数の飛行体の間の距離情報を表示する、
     請求項8に記載の位置処理装置。
  10.  入力を受け付ける操作部、を更に備え、
     前記決定部は、前記操作部へ入力された前記複数の飛行体の間の距離情報に基づいて、前記第1の相対的な位置情報を決定する、
     請求項1~6のいずれか1項に記載の位置処理装置。
  11.  前記複数の飛行体の各々の位置情報を取得する取得部、を更に備え、
     前記決定部は、取得された複数の前記位置情報の差分に基づく相対的な位置情報である第2の相対的な位置情報に基づいて、前記第1の相対的な位置情報を決定する、
     請求項1~6のいずれか1項に記載の位置処理装置。
  12.  前記第1の相対的な位置情報を出力する出力部、を更に備える、
     請求項1~11のいずれか1項に記載の位置処理装置。
  13.  他の飛行体とともに飛行グループを形成して飛行する飛行体であって、
     前記飛行グループに属する複数の飛行体の制御を指示する操作装置から飛行の制御を指示する指示信号と、前記飛行グループに属する前記複数の飛行体の基準位置に対する前記飛行体の相対的な位置情報である第1の相対的な位置情報と、を取得する第1の取得部と、 
     前記指示信号と前記第1の相対的な位置情報とに基づいて、前記基準位置と前記飛行体との間の相対的な位置関係を固定して、前記飛行体の飛行を制御する制御部と、
     を備える飛行体。
  14.  前記指示信号は、前記複数の飛行体の旋回を指示するための第1旋回指示情報を含み、
     前記制御部は、前記第1旋回指示情報に基づいて、前記飛行体と前記飛行グループに属する前記複数の飛行体の基準位置との距離を固定して、前記基準位置を中心として前記飛行体が旋回するように、前記飛行体を制御する、
     請求項13に記載の飛行体。
  15.  前記指示信号は、前記複数の飛行体の旋回を指示するための第2旋回指示情報を含み、
     前記制御部は、前記第2旋回指示情報に基づいて、前記飛行体の位置を固定して、前記飛行体の位置を中心として前記飛行体が旋回するように、前記飛行体の飛行を制御する、
     請求項13に記載の飛行体。
  16.  第1の撮像部、を更に備え、
     前記制御部は、
     協調して飛行する前記飛行体の台数に基づいて、前記第1の撮像部の画角を制御し、
     前記第1の相対的な位置情報に基づいて、前記第1の撮像部の撮像方向を制御する、
     請求項13~15のいずれか1項に記載の飛行体。
  17.  前記飛行体の飛行位置を示す第1の飛行位置情報を取得する第2の取得部と、
     前記基準位置と前記第1の相対的な位置情報とを基に、前記飛行体の飛行位置を示す第2の飛行位置情報を計算する計算部と、
     を更に備え、
     前記制御部は、前記第1の飛行位置情報と前記第2の飛行位置情報とが一致するように、前記飛行体の飛行を制御する、
     請求項16のいずれか1項に記載の飛行体。
  18.  前記第1の撮像部は、前記第1の撮像部の画角を示す第1の画角の情報を取得し、
     前記第1の取得部は、前記他の飛行体が備える第2の撮像部の画角を示す第2の画角の情報を取得し、
     前記制御部は、前記第1の画角と前記第2の画角との差が略一定となるよう、前記飛行体の飛行を制御する、
     請求項16に記載の飛行体。
  19.  前記第1の取得部は、前記他の飛行体が備える第2の撮像部により撮像された第2の撮像画像を取得し、
     前記計算部は、前記第1の撮像部により撮像された第1の撮像画像及び前記第2の撮像画像に基づいて、前記他の飛行体に対する前記飛行体の相対的な位置情報である第2の相対的な位置情報を計算し、
     前記第1の相対的な位置情報は、前記他の飛行体に対する前記飛行体の相対的な位置情報である第3の相対的な位置情報を含み、
     前記制御部は、前記第2の相対的な位置情報と前記第3の相対的な位置情報とが一致するよう、前記飛行体の飛行を制御する、
     請求項17に記載の飛行体。
  20.  前記飛行体と前記他の飛行体との間の距離を測定し、第1の距離情報を得る測距センサ、を更に備え、
     前記第1の相対的な位置情報は、前記飛行体と前記他の飛行体との間の距離を示す第2の距離情報を含み、
     前記制御部は、前記第1の距離情報と前記第2の距離情報とが一致するよう、前記飛行体の飛行を制御する、
     請求項13~16のいずれか1項に記載の飛行体。
  21.  複数の飛行体の位置情報を処理する位置処理システムであって、
     前記複数の飛行体を選択し、選択された前記複数の飛行体が属する飛行グループを形成する選択部と、
     前記飛行体の制御を指示する操作装置による操作中における、前記飛行グループに属する前記複数の飛行体の相対的な位置情報を決定する決定部と、
     前記相対的な位置情報を前記複数の飛行体に設定する設定部と、
     を備える位置処理システム。
  22.  飛行グループを形成して飛行する複数の飛行体と、前記複数の飛行体の制御を指示する操作装置と、を備える飛行システムであって、
     前記操作装置は、
     前記複数の飛行体の飛行の制御を指示する指示信号を送信し、
     前記複数の飛行体の各々は、
     前記指示信号を受信し、
     前記飛行グループに属する前記複数の飛行体の相対的な位置情報を取得し、
     前記指示信号と前記相対的な位置情報とに基づいて、前記複数の飛行体の相対的な位置関係を固定して、前記飛行体の各々の飛行を制御する、
     飛行システム。
  23.  画像処理装置、を更に備え、
     前記複数の飛行体の各々は、
     異なる撮像方向を撮像して撮像画像を取得し、
     前記撮像画像を前記画像処理装置へ送信し、
     前記画像処理装置は、
     前記複数の飛行体の各々からの複数の撮像画像を受信し、
     前記複数の撮像画像に基づいて、パノラマ画像及びステレオ画像の少なくとも一方を生成する、
     請求項22に記載の飛行システム。
  24.  複数の飛行体の位置情報を処理する位置処理装置における位置処理方法であって、
     前記複数の飛行体を選択し、選択された前記複数の飛行体が属する飛行グループを形成するステップと、
     前記飛行体の制御を指示する操作装置による操作中における、前記飛行グループに属する複数の飛行体の相対的な位置情報である第1の相対的な位置情報を決定するステップと、
     を有する位置処理方法。
  25.  前記位置情報を決定するステップは、前記第1の相対的な位置情報として、前記飛行グループに属する複数の飛行体の基準位置に対する前記複数の飛行体の各々の相対的な位置情報を決定するステップを含む、
     請求項24に記載の位置処理方法。
  26.  前記位置情報を決定するステップは、前記複数の飛行体の各々の識別情報と、前記識別情報により識別される飛行体の各々の相対的な位置情報と、を関連付けて設定するステップを含む、
     請求項25に記載の位置処理方法。
  27.  前記第1の相対的な位置情報は、前記複数の飛行体の3次元空間における相対的な位置情報を含む、
     請求項24~26のいずれか1項に記載の位置処理方法。
  28.  前記第1の相対的な位置情報は、前記複数の飛行体の水平方向の距離情報を含む、
     請求項27のいずれか1項に記載の位置処理方法。
  29.  前記第1の相対的な位置情報は、前記複数の飛行体の重力方向の距離情報を含む、
     請求項27に記載の位置処理方法。
  30.  前記複数の飛行体を示す複数の飛行体画像を表示するステップと、
     操作部への入力を受け付けるステップと、を更に含み、
     前記位置情報を決定するステップは、表示された前記複数の飛行体画像の位置を、前記入力により変更することで、前記第1の相対的な位置情報を変更するステップを含む、
     請求項24~29のいずれか1項に記載の位置処理方法。
  31.  前記入力を受け付けるステップは、ドラッグ操作による入力を受け付けるステップを含む、
     請求項30に記載の位置処理方法。
  32.  前記飛行体画像を表示するステップは、前記ドラッグ操作により変更された複数の前記飛行体画像の位置に基づいて、前記複数の飛行体の間の距離情報を表示するステップを含む、
     請求項31に記載の位置処理方法。
  33.  操作部への入力を受け付けるステップ、を更に含み、
     前記位置情報を決定するステップは、前記操作部へ入力された前記複数の飛行体の間の距離情報に基づいて、前記第1の相対的な位置情報を決定するステップを含む、
     請求項24~29のいずれか1項に記載の位置処理方法。
  34.  前記複数の飛行体の各々の位置情報を取得するステップ、を更に含み、
     前記位置情報を決定するステップは、取得された複数の前記位置情報の差分に基づく相対的な位置情報である第2の相対的な位置情報に基づいて、前記第1の相対的な位置情報を決定するステップを含む、
     請求項24~29のいずれか1項に記載の位置処理方法。
  35.  前記第1の相対的な位置情報を出力するステップ、を更に含む、
     請求項24~34のいずれか1項に記載の位置処理方法。
  36.  他の飛行体とともに飛行グループを形成して飛行する飛行体における飛行制御方法であって、
     前記飛行グループに属する複数の飛行体の制御を指示する操作装置から飛行の制御を指示する指示信号を取得するステップと、
     前記飛行グループに属する前記複数の飛行体の基準位置に対する前記飛行体の相対的な位置情報である第1の相対的な位置情報を取得するステップと、
     前記指示信号と前記第1の相対的な位置情報とに基づいて、前記基準位置と前記飛行体との間の相対的な位置関係を固定して、前記飛行体の飛行を制御するステップと、
     を有する飛行制御方法。
  37.  前記指示信号は、前記複数の飛行体の旋回を指示するための第1旋回指示情報を含み、
     前記飛行体の飛行を制御するステップは、前記第1旋回指示情報に基づいて、前記飛行体と前記飛行グループに属する前記複数の飛行体の基準位置との距離を固定して、前記基準位置を中心として前記飛行体が旋回するように、前記飛行体を制御するステップを含む、
     請求項36に記載の飛行制御方法。
  38.  前記指示信号は、前記複数の飛行体の旋回を指示するための第2旋回指示情報を含み、
     前記飛行体の飛行を制御するステップは、前記第2旋回指示情報に基づいて、前記飛行体の位置を固定して、前記飛行体の位置を中心として前記飛行体が旋回するように、前記飛行体の飛行を制御するステップを含む、
     請求項36に記載の飛行制御方法。
  39.  前記飛行グループに属する前記飛行体の台数に基づいて、前記飛行体が備える第1の撮像部の画角を制御するステップと、
     前記第1の相対的な位置情報に基づいて、前記第1の撮像部の撮像方向を制御するステップと、を更に含む、
     請求項36~38のいずれか1項に記載の飛行制御方法。
  40.  前記飛行体の飛行位置を示す第1の飛行位置情報を取得するステップと、
     前記基準位置と前記第1の相対的な位置情報とを基に、前記飛行体の飛行位置を示す第2の飛行位置情報を計算するステップと、
     を更に含み、
     前記飛行体の飛行を制御するステップは、前記第1の飛行位置情報と前記第2の飛行位置情報とが一致するように、前記飛行体の飛行を制御するステップを含む、
     請求項39に記載の飛行制御方法。
  41.  前記第1の撮像部の画角を示す第1の画角の情報を取得するステップと、
     前記他の飛行体が備える第2の撮像部の画角を示す第2の画角の情報を取得するステップと、を更に含み、
     前記飛行体の飛行を制御するステップは、前記第1の画角と前記第2の画角との差が略一定となるよう、前記飛行体の飛行を制御するステップを含む、
     請求項39に記載の飛行制御方法。
  42.  前記第1の撮像部により撮像し、第1の撮像画像を得るステップと、
     前記他の飛行体が備える第2の撮像部により撮像された第2の撮像画像を取得するステップと、
     前記第1の撮像画像及び前記第2の撮像画像に基づいて、前記他の飛行体に対する前記飛行体の相対的な位置情報である第2の相対的な位置情報を計算するステップと、を更に含み、
     前記第1の相対的な位置情報は、前記他の飛行体に対する前記飛行体の相対的な位置情報である第3の相対的な位置情報を含み、
     前記飛行体の飛行を制御するステップは、前記第2の相対的な位置情報と前記第3の相対的な位置情報とが一致するよう、前記飛行体の飛行を制御するステップを含む、
     請求項40に記載の飛行制御方法。
  43.  前記飛行体と前記他の飛行体との間の距離を測定し、第1の距離情報を得るステップ、を更に含み、
     前記第1の相対的な位置情報は、前記飛行体と前記他の飛行体との間の距離を示す第2の距離情報を含み、
     前記飛行体の飛行を制御するステップは、前記第1の距離情報と前記第2の距離情報とが一致するよう、前記飛行体の飛行を制御するステップを含む、
     請求項36~39のいずれか1項に記載の飛行制御方法。
  44.  複数の飛行体の位置情報を処理する位置処理システムにおける位置処理方法であって、
     前記複数の飛行体を選択し、選択された前記複数の飛行体が属する飛行グループを形成するステップと、
     前記飛行体の制御を指示する操作装置による操作中における、前記飛行グループに属する複数の飛行体の相対的な位置情報を決定するステップと、
     前記相対的な位置情報を前記複数の飛行体に設定するステップと、
     を有する位置処理方法。
  45.  飛行グループを形成して飛行する複数の飛行体と、前記複数の飛行体の制御を指示する操作装置と、を備える飛行システムにおける飛行制御方法であって、
     前記複数の飛行体の飛行の制御を指示する指示信号を取得するステップと、
     前記飛行グループに属する前記複数の飛行体の相対的な位置情報を取得するステップと、
     前記指示信号と前記相対的な位置情報とに基づいて、前記複数の飛行体の相対的な位置関係を固定して、前記飛行体の各々の飛行を制御するステップと、
     を有する飛行制御方法。
  46.  前記複数の飛行体の各々により異なる撮像方向を撮像するステップと、
     撮像された前記複数の撮像画像を取得するステップと、
     前記複数の撮像画像に基づいて、パノラマ画像及びステレオ画像の少なくとも一方を生成するステップと、を更に含む、
     請求項45に記載の飛行制御方法。
  47.  複数の飛行体の位置情報を処理する位置処理装置であるコンピュータに、
     前記複数の飛行体を選択し、選択された前記複数の飛行体が属する飛行グループを形成するステップと、
     前記飛行体の制御を指示する操作装置による操作中における、前記飛行グループに属する複数の飛行体の相対的な位置情報である第1の相対的な位置情報を決定するステップと、
     を実行させるためのプログラム。
  48.  他の飛行体とともに飛行グループを形成して飛行する飛行体に、
     前記飛行グループに属する複数の飛行体の制御を指示する操作装置から飛行の制御を指示する指示信号を取得するステップと、
     前記飛行グループに属する前記複数の飛行体の基準位置に対する前記飛行体の相対的な位置情報を取得するステップと、
     前記指示信号と前記相対的な位置情報とに基づいて、前記基準位置と前記飛行体との間の相対的な位置関係を固定して、前記飛行体の飛行を制御するステップと、
     を実行させるためのプログラム。
  49.  複数の飛行体の位置情報を処理する位置処理装置であるコンピュータに、
     前記複数の飛行体を選択し、選択された前記複数の飛行体が属する飛行グループを形成するステップと、
     前記飛行体の制御を指示する操作装置による操作中における、前記飛行グループに属する複数の飛行体の相対的な位置情報である第1の相対的な位置情報を決定するステップと、
     を実行させるためのプログラムを記録したコンピュータ読取り可能な記録媒体。
  50.  他の飛行体とともに飛行グループを形成して飛行する飛行体であるコンピュータに、
     前記飛行グループに属する複数の飛行体の制御を指示する操作装置から飛行の制御を指示する指示信号を取得するステップと、
     前記飛行グループに属する前記複数の飛行体の基準位置に対する前記飛行体の相対的な位置情報を取得するステップと、
     前記指示信号と前記相対的な位置情報とに基づいて、前記基準位置と前記飛行体との間の相対的な位置関係を固定して、前記飛行体の飛行を制御するステップと、
     を実行させるためのプログラムを記録したコンピュータ読取り可能な記録媒体。
PCT/JP2017/005016 2017-02-10 2017-02-10 位置処理装置、飛行体、位置処理システム、飛行システム、位置処理方法、飛行制御方法、プログラム、及び記録媒体 WO2018146803A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201780085560.3A CN110249281B (zh) 2017-02-10 2017-02-10 位置处理装置、飞行体、及飞行***
PCT/JP2017/005016 WO2018146803A1 (ja) 2017-02-10 2017-02-10 位置処理装置、飛行体、位置処理システム、飛行システム、位置処理方法、飛行制御方法、プログラム、及び記録媒体
JP2018566725A JP6862477B2 (ja) 2017-02-10 2017-02-10 位置処理装置、飛行体、位置処理システム、飛行システム、位置処理方法、飛行制御方法、プログラム、及び記録媒体
US16/532,864 US11513514B2 (en) 2017-02-10 2019-08-06 Location processing device, flight vehicle, location processing system, flight system, location processing method, flight control method, program and recording medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2017/005016 WO2018146803A1 (ja) 2017-02-10 2017-02-10 位置処理装置、飛行体、位置処理システム、飛行システム、位置処理方法、飛行制御方法、プログラム、及び記録媒体

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US16/532,864 Continuation US11513514B2 (en) 2017-02-10 2019-08-06 Location processing device, flight vehicle, location processing system, flight system, location processing method, flight control method, program and recording medium

Publications (1)

Publication Number Publication Date
WO2018146803A1 true WO2018146803A1 (ja) 2018-08-16

Family

ID=63108283

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/005016 WO2018146803A1 (ja) 2017-02-10 2017-02-10 位置処理装置、飛行体、位置処理システム、飛行システム、位置処理方法、飛行制御方法、プログラム、及び記録媒体

Country Status (4)

Country Link
US (1) US11513514B2 (ja)
JP (1) JP6862477B2 (ja)
CN (1) CN110249281B (ja)
WO (1) WO2018146803A1 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020088397A1 (zh) * 2018-10-31 2020-05-07 深圳市大疆创新科技有限公司 位置推定装置、位置推定方法、程序以及记录介质
JP2021189002A (ja) * 2020-05-28 2021-12-13 株式会社日立製作所 距離計測システム、及び距離計測方法
WO2022018790A1 (ja) * 2020-07-20 2022-01-27 株式会社ナイルワークス 無人航空機制御システム
JP7063966B1 (ja) 2020-10-21 2022-05-09 西日本電信電話株式会社 移動体制御システム
WO2023203673A1 (ja) * 2022-04-20 2023-10-26 株式会社クボタ 飛行体制御システムおよび飛行体システム

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102029906B1 (ko) * 2017-11-10 2019-11-08 전자부품연구원 이동수단의 가상현실 콘텐츠 제공 장치 및 방법
JP6896962B2 (ja) * 2019-12-13 2021-06-30 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドSz Dji Technology Co.,Ltd 決定装置、飛行体、決定方法、及びプログラム
JP2021094890A (ja) * 2019-12-13 2021-06-24 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドSz Dji Technology Co.,Ltd 飛行体、及び制御方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050230563A1 (en) * 2004-02-21 2005-10-20 Corcoran James J Iii Automatic formation flight control system
JP2010188893A (ja) * 2009-02-19 2010-09-02 Japan Aerospace Exploration Agency 移動体の三次元群制御方法
JP2015191254A (ja) * 2014-03-27 2015-11-02 日本電気株式会社 無人航空機、無人航空機の制御方法、および、管制システム

Family Cites Families (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6926233B1 (en) * 2004-02-21 2005-08-09 Corcoran, Iii James John Automatic formation flight control system (AFFCS)—a system for automatic formation flight control of vehicles not limited to aircraft, helicopters, or space platforms
IL162767A (en) * 2004-06-29 2008-04-13 Israel Aerospace Ind Ltd Collision avoidance system and a method thereof
US20060167596A1 (en) * 2005-01-24 2006-07-27 Bodin William K Depicting the flight of a formation of UAVs
DE102005038017B3 (de) * 2005-08-09 2007-05-10 Eads Deutschland Gmbh Verfahren zur Flugführung mehrerer im Verband fliegender Flugzeuge
US7894948B2 (en) * 2007-11-01 2011-02-22 L-3 Communications Integrated Systems L.P. Systems and methods for coordination of entities and/or communicating location information
US8538673B2 (en) * 2008-10-31 2013-09-17 Czech Technical University In Prague System and method for planning/replanning collision free flight plans in real or accelerated time
US9762795B2 (en) * 2013-09-04 2017-09-12 Gyeongil Kweon Method and apparatus for obtaining rectilinear images using rotationally symmetric wide-angle lens
WO2012002976A1 (en) * 2010-07-01 2012-01-05 Mearthane Products Corporation High performance resilient skate wheel with compression modulus gradient
JP5618840B2 (ja) * 2011-01-04 2014-11-05 株式会社トプコン 飛行体の飛行制御システム
FR2977333B1 (fr) * 2011-06-28 2014-01-31 Parrot Procede de controle dynamique d'attitude d'un drone, pour l'execution automatique d'une figure de type vrille ou salto
JP5979916B2 (ja) * 2012-03-07 2016-08-31 キヤノン株式会社 情報処理装置およびその制御方法
US8949090B2 (en) * 2013-01-28 2015-02-03 The Boeing Company Formation flight control
CN104062980A (zh) * 2014-06-10 2014-09-24 北京空间机电研究所 一种无人机机载全景监测***
SG10201406357QA (en) * 2014-10-03 2016-05-30 Infinium Robotics Pte Ltd System for performing tasks in an operating region and method of controlling autonomous agents for performing tasks in the operating region
CN105518415A (zh) * 2014-10-22 2016-04-20 深圳市大疆创新科技有限公司 一种飞行航线设置方法及装置
CN105518487B (zh) * 2014-10-27 2017-09-12 深圳市大疆创新科技有限公司 飞行器的位置提示方法及装置
US9997079B2 (en) * 2014-12-12 2018-06-12 Amazon Technologies, Inc. Commercial and general aircraft avoidance using multi-spectral wave detection
RU2585204C1 (ru) * 2015-01-29 2016-05-27 Открытое акционерное общество "Раменское приборостроительное конструкторское бюро" (ОАО "РПКБ") Способ управления летательным аппаратом при заходе на навигационную точку с заданного направления
JP6594008B2 (ja) * 2015-03-23 2019-10-23 株式会社メガチップス 移動体制御装置、ランドマーク、および、プログラム
JP6525145B2 (ja) * 2015-04-23 2019-06-05 有限会社大平技研 飛翔体を用いた発光点図形パターン表示システム,発光点図形パターン表示方法ならびに該システムおよび方法に用いる飛翔体
US11034443B2 (en) * 2015-06-12 2021-06-15 Sunlight Aerospace Inc. Modular aircraft assembly for airborne and ground transport
JP6942909B2 (ja) * 2015-07-27 2021-09-29 ジェンギスコム ホールディングス エルエルシーGenghiscomm Holdings, Llc 協調的mimoシステムにおける空中中継器
US9928748B2 (en) * 2015-11-25 2018-03-27 International Business Machines Corporation Dynamic geo-fence for drone
CN105425817B (zh) * 2015-12-09 2018-06-22 深圳市峰创科技有限公司 一种多无人机编组飞行控制***
CN105511494B (zh) * 2016-01-20 2018-06-19 浙江大学 一种多无人机分布式队形控制的方法
CN105717933A (zh) * 2016-03-31 2016-06-29 深圳奥比中光科技有限公司 无人机以及无人机防撞方法
CN107368084A (zh) * 2016-05-11 2017-11-21 松下电器(美国)知识产权公司 飞行控制方法及无人飞行器
CN105955308B (zh) * 2016-05-20 2018-06-29 腾讯科技(深圳)有限公司 一种飞行器的控制方法和装置
CN106227224A (zh) * 2016-07-28 2016-12-14 零度智控(北京)智能科技有限公司 飞行控制方法、装置及无人机
US10118292B2 (en) * 2016-08-18 2018-11-06 Saudi Arabian Oil Company Systems and methods for configuring field devices using a configuration device
US10163357B2 (en) * 2016-08-24 2018-12-25 Qualcomm Incorporated Navigation assistance data and route planning for drones
US10114384B2 (en) * 2016-09-13 2018-10-30 Arrowonics Technologies Ltd. Formation flight path coordination of unmanned aerial vehicles
CN106292294B (zh) * 2016-10-20 2018-11-20 南京航空航天大学 基于模型参考自适应控制的舰载无人机自动着舰控制装置
KR20210084768A (ko) * 2019-12-27 2021-07-08 엘지전자 주식회사 무인 비행체

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050230563A1 (en) * 2004-02-21 2005-10-20 Corcoran James J Iii Automatic formation flight control system
JP2010188893A (ja) * 2009-02-19 2010-09-02 Japan Aerospace Exploration Agency 移動体の三次元群制御方法
JP2015191254A (ja) * 2014-03-27 2015-11-02 日本電気株式会社 無人航空機、無人航空機の制御方法、および、管制システム

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020088397A1 (zh) * 2018-10-31 2020-05-07 深圳市大疆创新科技有限公司 位置推定装置、位置推定方法、程序以及记录介质
CN111615616A (zh) * 2018-10-31 2020-09-01 深圳市大疆创新科技有限公司 位置推定装置、位置推定方法、程序以及记录介质
JP2021189002A (ja) * 2020-05-28 2021-12-13 株式会社日立製作所 距離計測システム、及び距離計測方法
JP7369093B2 (ja) 2020-05-28 2023-10-25 株式会社日立製作所 距離計測システム、及び距離計測方法
WO2022018790A1 (ja) * 2020-07-20 2022-01-27 株式会社ナイルワークス 無人航空機制御システム
JP7412041B2 (ja) 2020-07-20 2024-01-12 株式会社ナイルワークス 無人航空機制御システム
JP7063966B1 (ja) 2020-10-21 2022-05-09 西日本電信電話株式会社 移動体制御システム
JP2022068016A (ja) * 2020-10-21 2022-05-09 西日本電信電話株式会社 移動体制御システム
WO2023203673A1 (ja) * 2022-04-20 2023-10-26 株式会社クボタ 飛行体制御システムおよび飛行体システム

Also Published As

Publication number Publication date
JP6862477B2 (ja) 2021-04-21
US20190361435A1 (en) 2019-11-28
CN110249281B (zh) 2022-11-22
CN110249281A (zh) 2019-09-17
JPWO2018146803A1 (ja) 2019-11-21
US11513514B2 (en) 2022-11-29

Similar Documents

Publication Publication Date Title
US11377211B2 (en) Flight path generation method, flight path generation system, flight vehicle, program, and storage medium
JP6862477B2 (ja) 位置処理装置、飛行体、位置処理システム、飛行システム、位置処理方法、飛行制御方法、プログラム、及び記録媒体
JP6878567B2 (ja) 3次元形状推定方法、飛行体、モバイルプラットフォーム、プログラム及び記録媒体
JP6765512B2 (ja) 飛行経路生成方法、情報処理装置、飛行経路生成システム、プログラム及び記録媒体
US20190318636A1 (en) Flight route display method, mobile platform, flight system, recording medium and program
US11122209B2 (en) Three-dimensional shape estimation method, three-dimensional shape estimation system, flying object, program and recording medium
US11082639B2 (en) Image display method, image display system, flying object, program, and recording medium
US20210034052A1 (en) Information processing device, instruction method for prompting information, program, and recording medium
CN111213107B (zh) 信息处理装置、拍摄控制方法、程序以及记录介质
JP2019101587A (ja) 情報処理装置、飛行制御指示方法、プログラム、及び記録媒体
JP7067897B2 (ja) 情報処理装置、飛行制御指示方法、プログラム、及び記録媒体
JP6921026B2 (ja) 送信機、飛行体、飛行制御指示方法、飛行制御方法、プログラム、及び記憶媒体
JP6684012B1 (ja) 情報処理装置および情報処理方法
WO2018138882A1 (ja) 飛行体、動作制御方法、動作制御システム、プログラム及び記録媒体
KR102542181B1 (ko) 360도 vr 영상 제작을 위한 무인 비행체 제어 방법 및 장치

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17895611

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2018566725

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: NOTING OF LOSS OF RIGHTS PURSUANT TO RULE 112(1) EPC (EPO FORM 1205A DATED 25/06/2020)

122 Ep: pct application non-entry in european phase

Ref document number: 17895611

Country of ref document: EP

Kind code of ref document: A1