WO2021166101A1 - 操作器、および、ドローンの操作用プログラム - Google Patents
操作器、および、ドローンの操作用プログラム Download PDFInfo
- Publication number
- WO2021166101A1 WO2021166101A1 PCT/JP2020/006437 JP2020006437W WO2021166101A1 WO 2021166101 A1 WO2021166101 A1 WO 2021166101A1 JP 2020006437 W JP2020006437 W JP 2020006437W WO 2021166101 A1 WO2021166101 A1 WO 2021166101A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- drone
- detection area
- lift
- area
- input
- Prior art date
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04Q—SELECTING
- H04Q9/00—Arrangements in telecontrol or telemetry systems for selectively calling a substation from a main station, in which substation desired apparatus is selected for applying a control signal thereto or for obtaining measured values therefrom
Definitions
- the invention of the present application relates to an operating device and a program for operating a drone.
- Patent Document 2 discloses an agricultural product cultivation support system in which an operation button and an emergency stop button are displayed on a touch panel.
- Patent Document 3 describes that the drone is stopped by pressing the physical operation stop button.
- Patent Document 4 discloses a portable operation device including a basic operation button on a touch screen display.
- Patent Document 5 discloses a system that controls resources by performing a touch operation or a swipe operation on a display in a game environment or a simulation environment.
- the operator is an operator for controlling a drone flying by a lift generating unit, and is a display displaying a plurality of types of processes for giving an operation instruction to the drone, and the display.
- an area for detecting an operator's input which includes a detection area in which the plurality of types of processes are associated with different ranges, and at least one of the processes urgently sets the lift generating unit. It is a lift generation unit stop process for stopping, and the separation distance between the detection area to which the lift generation unit stop process is associated and the other detection areas is the distance between the detection areas to which the other processes are associated. Greater than.
- the separation distance between the detection area to which the lift generation unit stop processing is associated and the outer edge of the actuator is larger than the separation distance between the detection area to which the lift generation unit stop processing is associated and the other detection area. It may be a thing.
- the display further has an emergency operation input area for receiving an instruction to transition to a screen capable of inputting the plurality of types of processes, and the emergency operation input area and a detection area to which the lift generation unit stop process is associated.
- the separation distance may be larger than the distance between the other detection regions.
- the input operation received by the emergency operation input area may be an operation that requires more time for input than a single tap operation.
- the input operation received by the emergency operation input area may include at least one of a swipe operation, a plurality of tap operations, and a long press operation.
- the other detection area may include a detection area to which at least one of a resumption process for resuming the operation of the drone, a return process for returning to the takeoff and landing point, and a landing process for landing below the hovering point is associated. good.
- the process includes a restart process for resuming the operation of the drone and a landing process for landing the drone below the hovering point, and the detection area to which the restart process is associated is associated with the landing process.
- the detection area and the detection area to which the lift generation unit stop processing is associated may be arranged in parallel on the display in this order.
- the drone operation program is a drone operation program that flies by a lift generating unit, and is a plurality of types of processes that give an operation instruction to the drone on the display of the drone operator. And an instruction that defines a detection area for detecting an operator's input on the display and associates the plurality of types of processes with different ranges, and causes a computer to execute at least one of the processes.
- the lift generation unit stop process for urgently stopping the lift generation unit, and the separation distance between the detection area to which the lift generation unit stop process is associated and the other detection area is associated with another process. It is larger than the distance between the detection areas.
- the computer program can be provided by downloading via a network such as the Internet, or can be recorded and provided on various computer-readable recording media such as a CD-ROM.
- the drone is regardless of the power means (electric power, prime mover, etc.) and the maneuvering method (wireless or wired, autonomous flight type, manual maneuvering type, etc.). It refers to all air vehicles with multiple rotor blades.
- the rotor blades 101-1a, 101-1b, 101-2a, 101-2b, 101-3a, 101-3b, 101-4a, 101-4b are It is a means for flying the Drone 100, and is equipped with eight aircraft (four sets of two-stage rotor blades) in consideration of the balance between flight stability, aircraft size, and power consumption.
- Each rotor 101 is arranged on all sides of the housing 110 by an arm protruding from the housing 110 of the drone 100.
- the rotors 101-1a and 101-1b are on the left rear side in the direction of travel, the rotor blades 101-2a and 101-2b are on the left front side, the rotor blades 101-3a and 101-3b are on the right rear side, and the rotor blades 101- are on the right front side. 4a and 101-4b are arranged respectively.
- the drone 100 has the traveling direction facing downward on the paper in FIG.
- a grid-shaped propeller guard 115-1,115-2,115-3,115-4 forming a substantially cylindrical shape is provided on the outer circumference of each set of the rotor blade 101 to prevent the rotor blade 101 from interfering with foreign matter.
- the radial members for supporting the propeller guards 115-1,115-2,115-3,115-4 have a wobbling structure rather than a horizontal structure. This is to encourage the member to buckle outside the rotor in the event of a collision and prevent it from interfering with the rotor.
- Rod-shaped legs 107-1, 107-2, 107-3, 107-4 extend downward from the rotation axis of the rotor 101, respectively.
- Motors 102-1a, 102-1b, 102-2a, 102-2b, 102-3a, 102-3b, 102-4a, 102-4b are rotor blades 101-1a, 101-1b, 101-2a, 101- It is a means to rotate 2b, 101-3a, 101-3b, 101-4a, 101-4b (typically an electric motor, but it may also be a motor, etc.), and one rotor is provided for each rotor. Has been done.
- Motor 102 is an example of a propulsion device.
- the upper and lower rotors (eg, 101-1a and 101-1b) in one set, and their corresponding motors (eg, 102-1a and 102-1b), are used for drone flight stability, etc.
- the axes are on the same straight line and rotate in opposite directions.
- Nozzles 103-1, 103-2, 103-3, 103-4 are means for spraying the sprayed material downward and are equipped with four nozzles.
- the sprayed material generally refers to a liquid or powder sprayed on a field such as a pesticide, a herbicide, a liquid fertilizer, an insecticide, a seed, and water.
- the tank 104 is a tank for storing the sprayed material, and is provided at a position close to the center of gravity of the drone 100 and at a position lower than the center of gravity from the viewpoint of weight balance.
- the hoses 105-1, 105-2, 1053, 105-4 are means for connecting the tank 104 and the nozzles 103-1, 103-2, 103-3, 103-4, and are made of a hard material. Therefore, it may also serve as a support for the nozzle.
- the pump 106 is a means for discharging the sprayed material from the nozzle.
- FIG. 6 shows an overall conceptual diagram of the flight control system of the drone 100 according to the present invention.
- This figure is a schematic view, and the scale is not accurate.
- the drone 100, the actuator 401, the base station 404, and the server 405 are connected to each other via the mobile communication network 400.
- These connections may be wireless communication by Wi-Fi instead of the mobile communication network 400, or may be partially or wholly connected by wire.
- the components may have a configuration in which they are directly connected to each other in place of or in addition to the mobile communication network 400.
- Drone 100 and base station 404 communicate with GNSS positioning satellite 410 such as GPS to acquire drone 100 and base station 404 coordinates. There may be a plurality of positioning satellites 410 with which the drone 100 and the base station 404 communicate.
- the operator 401 transmits a command to the drone 100 by the operation of the user, and also displays information received from the drone 100 (for example, position, amount of sprayed material, battery level, camera image, etc.). It is a means and may be realized by a portable information device such as a general tablet terminal that runs a computer program.
- the actuator 401 includes an input unit and a display unit as a user interface device.
- the drone 100 according to the present invention is controlled to perform autonomous flight, but may be capable of manual operation during basic operations such as takeoff and return, and in an emergency.
- an emergency operation device (not shown) having a function dedicated to emergency stop may be used.
- the emergency operation device may be a dedicated device provided with a large emergency stop button or the like so that an emergency response can be taken quickly.
- the system may include a small mobile terminal capable of displaying a part or all of the information displayed on the operating device 401, for example, a smart phone.
- the small mobile terminal is connected to, for example, the base station 404, and can receive information and the like from the server 405 via the base station 404.
- Field 403 is a rice field, field, etc. that is the target of spraying with the drone 100. In reality, the terrain of the field 403 is complicated, and the topographic map may not be available in advance, or the topographic map and the situation at the site may be inconsistent. Field 403 is usually adjacent to houses, hospitals, schools, other crop fields, roads, railroads, etc. In addition, there may be intruders such as buildings and electric wires in the field 403.
- Base station 404 functions as an RTK-GNSS base station and can provide the exact location of the drone 100. Further, it may be a device that provides a master unit function of Wi-Fi communication. The base unit function of Wi-Fi communication and the RTK-GNSS base station may be independent devices. Further, the base station 404 may be able to communicate with the server 405 by using a mobile communication system such as 3G, 4G, and LTE. The base station 404 and the server 405 constitute a farming cloud.
- the server 405 is typically a group of computers operated on a cloud service and related software, and may be wirelessly connected to the actuator 401 by a mobile phone line or the like.
- the server 405 may be configured by a hardware device.
- the server 405 may analyze the image of the field 403 taken by the drone 100, grasp the growing condition of the crop, and perform a process for determining the flight route.
- the topographical information of the stored field 403 may be provided to the drone 100.
- the history of the flight and captured images of the drone 100 may be accumulated and various analysis processes may be performed.
- the small mobile terminal is, for example, a smart phone.
- information on the expected operation of the drone 100 more specifically, the scheduled time when the drone 100 will return to the departure / arrival point 406, the content of the work to be performed by the user at the time of return, etc. Information is displayed as appropriate. Further, the operation of the drone 100 may be changed based on the input from the small mobile terminal.
- the drone 100 takes off from the departure / arrival point outside the field 403 and returns to the departure / arrival point after spraying the sprayed material on the field 403 or when it becomes necessary to replenish or charge the sprayed material.
- the flight route (invasion route) from the departure / arrival point to the target field 403 may be stored in advance on the server 405 or the like, or may be input by the user before the start of takeoff.
- the departure / arrival point may be a virtual point defined by the coordinates stored in the drone 100, or may have a physical departure / arrival point.
- FIG. 7 shows a block diagram showing a control function of an embodiment of the spraying drone according to the present invention.
- the flight controller 501 is a component that controls the entire drone, and may be an embedded computer including a CPU, memory, related software, and the like.
- the flight controller 501 uses motors 102-1a and 102-1b via control means such as ESC (Electronic Speed Control) based on the input information received from the controller 401 and the input information obtained from various sensors described later. , 102-2a, 102-2b, 102-3a, 102-3b, 104-a, 104-b to control the flight of the drone 100.
- ESC Electronic Speed Control
- the actual rotation speeds of the motors 102-1a, 102-1b, 102-2a, 102-2b, 102-3a, 102-3b, 104-a, 104-b are fed back to the flight controller 501, and normal rotation is performed. It is configured so that it can be monitored.
- the rotary blade 101 may be provided with an optical sensor or the like so that the rotation of the rotary blade 101 is fed back to the flight controller 501.
- the software used by the flight controller 501 can be rewritten through a storage medium for function expansion / change, problem correction, etc., or through communication means such as Wi-Fi communication or USB. In this case, protection is performed by encryption, checksum, electronic signature, virus check software, etc. so that rewriting by malicious software is not performed.
- a part of the calculation process used by the flight controller 501 for control may be executed by another computer located on the controller 401, the server 405, or somewhere else. Due to the high importance of the flight controller 501, some or all of its components may be duplicated.
- the flight controller 501 communicates with the actuator 401 via the communication device 530 and further via the mobile communication network 400, receives necessary commands from the actuator 401, and transmits necessary information to the actuator 401. Can be sent. In this case, the communication may be encrypted so as to prevent fraudulent acts such as interception, spoofing, and device hijacking.
- the base station 404 also has an RTK-GPS base station function in addition to a communication function via the mobile communication network 400. By combining the signal of the RTK base station 404 and the signal from the positioning satellite 410 such as GPS, the flight controller 501 can measure the absolute position of the drone 100 with an accuracy of about several centimeters. Flight controllers 501 are so important that they may be duplicated and multiplexed, and each redundant flight controller 501 should use a different satellite to handle the failure of a particular GPS satellite. It may be controlled.
- the 6-axis gyro sensor 505 is a means for measuring the acceleration of the drone body in three directions orthogonal to each other, and further, a means for calculating the velocity by integrating the acceleration.
- the 6-axis gyro sensor 505 is a means for measuring the change in the attitude angle of the drone aircraft in the above-mentioned three directions, that is, the angular velocity.
- the geomagnetic sensor 506 is a means for measuring the direction of the drone body by measuring the geomagnetism.
- the barometric pressure sensor 507 is a means for measuring barometric pressure, and can also indirectly measure the altitude of the drone.
- the laser sensor 508 is a means for measuring the distance between the drone body and the ground surface by utilizing the reflection of the laser light, and may be an IR (infrared) laser.
- the sonar 509 is a means for measuring the distance between the drone aircraft and the ground surface by utilizing the reflection of sound waves such as ultrasonic waves. These sensors may be selected according to the cost target and performance requirements of the drone. In addition, a gyro sensor (angular velocity sensor) for measuring the inclination of the aircraft, a wind power sensor for measuring wind power, and the like may be added. Further, these sensors may be duplicated or multiplexed.
- the flight controller 501 may use only one of them, and if it fails, it may switch to an alternative sensor for use. Alternatively, a plurality of sensors may be used at the same time, and if the measurement results do not match, it may be considered that a failure has occurred.
- the flow rate sensor 510 is a means for measuring the flow rate of the sprayed material, and is provided at a plurality of locations on the path from the tank 104 to the nozzle 103.
- the liquid drainage sensor 511 is a sensor that detects that the amount of sprayed material has fallen below a predetermined amount.
- the growth diagnosis camera 512a is a means for photographing the field 403 and acquiring data for the growth diagnosis.
- the growth diagnostic camera 512a is, for example, a multispectral camera and receives a plurality of light rays having different wavelengths from each other.
- the plurality of light rays are, for example, red light (wavelength of about 650 nm) and near-infrared light (wavelength of about 774 nm).
- the growth diagnosis camera 512a may be a camera that receives visible light.
- the pathological diagnosis camera 512b is a means for photographing the crops growing in the field 403 and acquiring the data for the pathological diagnosis.
- the pathological diagnosis camera 512b is, for example, a red light camera.
- the red light camera is a camera that detects the amount of light in the frequency band corresponding to the absorption spectrum of chlorophyll contained in the plant, and detects, for example, the amount of light in the band around 650 nm.
- the pathological diagnosis camera 512b may detect the amount of light in the frequency bands of red light and near infrared light.
- the pathological diagnosis camera 512b may include both a red light camera and a visible light camera such as an RGB camera that detects light amounts of at least three wavelengths in the visible light band.
- the pathological diagnosis camera 512b may be a multispectral camera, and may detect the amount of light in the band having a wavelength of 650 nm to 680 nm.
- the growth diagnosis camera 512a and the pathology diagnosis camera 512b may be realized by one hardware configuration.
- the obstacle detection camera 513 is a camera for detecting a drone intruder, and since the image characteristics and the orientation of the lens are different from the growth diagnosis camera 512a and the pathological diagnosis camera 512b, what are the growth diagnosis camera 512a and the pathological diagnosis camera 512b? Another device.
- the switch 514 is a means for the user 402 of the drone 100 to make various settings.
- the obstacle contact sensor 515 is a sensor for detecting that the drone 100, in particular, its rotor or propeller guard part, has come into contact with an intruder such as an electric wire, a building, a human body, a standing tree, a bird, or another drone. ..
- the obstacle contact sensor 515 may be replaced by a 6-axis gyro sensor 505.
- the cover sensor 516 is a sensor that detects that the operation panel of the drone 100 and the cover for internal maintenance are in the open state.
- the inlet sensor 517 is a sensor that detects that the inlet of the tank 104 is
- sensors may be selected according to the cost target and performance requirements of the drone, and may be duplicated / multiplexed.
- a sensor may be provided at the base station 404, the actuator 401, or some other place outside the drone 100, and the read information may be transmitted to the drone.
- the base station 404 may be provided with a wind sensor to transmit information on wind power and wind direction to the drone 100 via the mobile communication network 400 or Wi-Fi communication.
- the flight controller 501 sends a control signal to the pump 106 to adjust the discharge amount and stop the discharge.
- the current status of the pump 106 (for example, the number of revolutions) is fed back to the flight controller 501.
- the LED107 is a display means for notifying the drone operator of the drone status.
- Display means such as a liquid crystal display may be used in place of or in addition to the LED.
- the buzzer is an output means for notifying the state of the drone (particularly the error state) by an audio signal.
- the communication device 530 is connected to a mobile communication network 400 such as 3G, 4G, and LTE, and can communicate with a farming cloud composed of a base station and a server and an operator via the mobile communication network 400. Will be done.
- other wireless communication means such as Wi-Fi, infrared communication, Bluetooth (registered trademark), ZigBee (registered trademark), NFC, or wired communication means such as USB connection. You may use it.
- the speaker 520 is an output means for notifying the state of the drone (particularly the error state) by means of recorded human voice, synthetic voice, or the like. Depending on the weather conditions, it may be difficult to see the visual display of the drone 100 in flight. In such cases, voice communication is effective.
- the warning light 521 is a display means such as a strobe light for notifying the state of the drone (particularly the error state). These input / output means may be selected according to the cost target and performance requirements of the drone, and may be duplicated or multiplexed.
- FIG. 8 shows an embodiment of the main screen G1 displayed on the display 4011 of the actuator 401 according to the present invention.
- the drone maneuver according to the present invention is realized by a computer program running on a smart phone or a tablet terminal.
- An image of a specific field is displayed on the main screen G1, but a menu screen for selecting a plurality of fields under the control of the user may be displayed before the screen is displayed.
- the function corresponding to the control stick is not displayed on the main screen G1. According to this configuration, it is possible to prevent an operation error from affecting the work plan of the drone 100.
- the map display area 805 is displayed in the entire area of the main screen G1.
- Peripheral device status display area 801, flight status display area 802, aircraft status display area 803, altitude adjustment input area 804, detailed status display area 806, and emergency operation input area 807 are composed of semi-transparently filled areas. , It is displayed on the front of the map display area 805 so as to be superimposed on the map display area 805.
- the peripheral device status display area 801 is arranged at the upper right of the main screen G1 and displays the remaining battery level of the drone 100, the remaining battery level of the base station 404, the remaining battery level of the actuator 401, and the like.
- the drone 100, the base station 404, and the actuator 401 are each displayed in pictograms.
- the remaining battery level is represented by numerical values and schematic diagrams.
- the schematic diagram of the remaining battery level may be displayed in different colors depending on the remaining battery level. If any of the drone 100, the base station 404, and the actuator 401 has an error, that fact is displayed in the display area related to the configuration in which the error has occurred.
- the error display may be displayed in a mode different from the normal display, for example, in a different color. According to this configuration, the operator can surely convey the information that the error occurs.
- the flight status display area 802 is arranged in a band shape over the upper part of the main screen G1 and displays the flight time, flight speed, altitude, etc. of the drone 100.
- a progress bar (not shown) may be displayed to indicate the completion status of the drug application.
- the aircraft status display area 803 is located at the upper left of the main screen G1 and displays the current status of the drone 100, for example, during flight preparation, drug replenishment, takeoff, flight, emergency evacuation, etc. In addition, notification of the next task or action request to the user (for example, "Prepare for drug replenishment”) may be displayed.
- the altitude adjustment input area 804 is an area that accepts inputs that increase or decrease the current altitude of the drone 100.
- the drone 100 according to the present invention flies autonomously, and the altitude is automatically adjusted by a computer program. For example, the operator wants to fine-tune the altitude according to the height of the crop. This is because cases can occur.
- the altitude adjustment input area 804 is composed of an altitude ascending button 804a and an altitude descending button 804b, which may be arranged apart from each other. Specifically, the altitude ascending button 804a and the altitude descending button 804b may be arranged at the right and left edges of the screen so that the thumb can reach when the actuator 401 is gripped by the left and right hands. According to this configuration, input can be performed while holding the actuator 401 with both hands.
- the map display area 805 is a map including the fields to be sprayed with chemicals, and may be an aerial photograph, a topographic map, or a superposed display thereof.
- the scale and position may be adjustable by gesture operation or the like.
- pin 810 indicating the current position of the drone 100 is displayed in real time.
- the image of the field 403 taken by the cameras 512 and 513 of the drone 100 may be displayed by switching to the map display or together with the map display.
- the planned flight route of the drone 100 may be displayed on an aerial photograph or a map.
- the detailed status display area 806 is located on the right side of the main screen G1.
- the detailed status display area 806 displays the status of the drone 100 and its surroundings in more detail, such as the pump status, the remaining amount of the drug, the communication status, and the GPS reception status.
- the emergency operation input area 807 is an area for receiving commands in the event of an emergency such as a failure or collision of the drone 100.
- the emergency operation input area 807 occupies a larger area on the main screen G1 than other display areas and input areas so that the operator can easily operate it in an emergency.
- the emergency buttons are well separated from the edges of the screen. According to this configuration, it is possible to prevent erroneous operation due to the finger of the operator holding the actuator 401 touching the input area.
- the emergency operation is an operation that requires a long time for the input operation as compared with the single tap operation.
- the emergency operation is, for example, a lateral swipe operation.
- the operation in an emergency may be an operation of tapping a plurality of times.
- the emergency operation may be a long press operation. According to such a configuration, it is a simple operation that does not make a mistake even when the operator is upset, and an erroneous operation is unlikely to be performed. By this operation, the drone 100 interrupts the autonomous flight and starts hovering.
- the emergency operation input area 807 receives the input of the emergency operation, it transitions to the screen where multiple types of processing can be input, that is, the emergency menu screen G2 shown in FIG. 9, and outputs the hovering instruction to the drone 100. do.
- FIG. 9 shows an emergency menu screen G2 displayed when a predetermined operation is input to the emergency operation input area 807 on the main screen G1.
- the emergency menu screen G2 is superposed so as to cover a part of the main screen G1.
- the emergency menu screen G2 displays a plurality of types of processes for instructing the operation of the drone 100.
- the "Resume flight” button B1 the "Return to takeoff and landing point” button B2, the "Soft landing on the spot” button B3, and the “Emergency motor stop” button B4 are displayed side by side in this order. ..
- On each of the buttons B1 to B4, different schematic diagrams according to the contents of the process are displayed together with the characters.
- Detection areas K1, K2, K3, and K4 for detecting the input of the operator are defined on the display 4011 of the actuator 401. Different types of processing are associated with the detection areas K1, K2, K3, and K4. In the present embodiment, each detection area is associated with a display range of characters and symbols displayed on the display 4011 indicating the processing content. That is, in the display range of the "restart flight" button B1, the restart processing detection area K1 that accepts the restart processing for restarting the operation of the drone 100 is defined.
- the "return to takeoff and landing point" button B2 and the "soft landing on the spot” button B3 define landing processing detection areas K2 and K3 that accept the landing processing for landing the drone 100, respectively.
- the landing process detection area K2 corresponding to the "return to takeoff / landing point" button B2 is associated with the return process of returning to the takeoff / landing point.
- the landing processing detection area K3 corresponding to the "soft landing on the spot” button B3 is associated with the landing processing for landing below the hovering point.
- the "emergency motor stop” button B4 defines a stop processing detection area K4 that accepts the lift generation unit stop processing for urgently stopping the motor 102, which is an example of the lift generation unit.
- the emergency stop is a process of immediately stopping the motor 102 without performing other flight control, and the drone 100 is dropped by this process.
- the lift generator stop process is the process that can stop the flight fastest, although the drone 100 may be damaged.
- the display range of characters and symbols and the detection area may be defined at different positions.
- buttons B1 to B4 are displayed in this order from left to right.
- Button B1 is the process selected when the urgency is the lowest
- button B4 is the process which is selected when the urgency is the highest. Since the traffic signal also has a display indicating "progress" at the left end and a highly urgent "stop" at the right end, the operator 401 also displays in the same order to perform a sensuous input operation. Cheap. By displaying button B1 in blue or green, buttons B2 and B3 in yellow or a color close to it, and button B4 in red, the display becomes closer to a traffic signal and is easy for an operator who is unfamiliar with the operation to understand. As a result, erroneous input can be prevented.
- Buttons B1 to B4 may be displayed in this order from right to left.
- the separation distance D1 between the stop processing detection area K4 and the other detection areas K1 to K3 is larger than the distances D10 and D11 between the other detection areas K1 to K3. According to this configuration, it is possible to prevent erroneous input due to accidentally touching another detection area K1 to K3 when tapping the stop processing detection area K4. Further, since the other buttons B1 to B3 are not displayed around the stop processing detection area K4, there is an effect that the stop processing detection area K4 is emphasized and displayed.
- the separation distance D1 between the stop processing detection region K4 and the other detection regions K1 to K3 can be determined with reference to, for example, the statistical value of the width of the index finger of an adult.
- the separation distance D1 can be 13.8 mm or more, which is the average value of the distal joint width of the index finger of an adult female. Alternatively, it may be 15.6 mm or more, which is the average value of the distal joint width of the index finger of an adult male. According to this configuration, erroneous input is unlikely to occur even when the input operation is performed with the index finger.
- the above dimensions are based on AIST Japanese hand dimensional data (2012).
- the separation distance D2 between the stop processing detection area K4 and the display 4011 end of the actuator 401 is larger than the separation distance D1 between the stop processing detection area K4 and the other detection areas K1 to K3. Further, the separation distance D3 between the stop processing detection area K4 and the outer edge of the actuator 401 is larger than the separation distance D1 between the stop processing detection area K4 and the other detection areas K1 to K3.
- the separation distance D2 between the stop processing detection region K4 and the outer edge of the actuator 401 is longer than, for example, the length from the base of the thumb of an adult to the pressing surface of the thumb. According to this configuration, it is possible to prevent a finger from touching the stop processing detection area K4 when gripping the actuator 401.
- the distance D4 between the emergency operation input area 807 and the stop processing detection area K4 is larger than the distances D10 and D11 between the other detection areas K1 to K3.
- the Stop button B4 is displayed side by side in this order from top to bottom.
- the separation distance D21 between the stop processing detection area K4 and the other detection areas K1 to K3 is larger than the distances D20a and D20b between the other detection areas K1 to K3.
- the separation distance D22 between the stop processing detection area K4 and the display 4011 end of the actuator 401 is larger than the separation distance D1 between the stop processing detection area K4 and the other detection areas K1 to K3.
- the separation distance D23 between the stop processing detection area K4 and the outer edge of the actuator 401 is larger than the separation distance D21 between the stop processing detection area K4 and the other detection areas K1 to K3.
- the left and right outer edges of the stop processing detection area K4 are at the same distance from the end of the display 4011, and the left and right outer edges of the display 4011 are at the same distance from the end of the actuator 401. May be different from each other.
- the distance D24 between the emergency operation input area 807 and the stop processing detection area K4 is larger than the distances D20a and D20b between the other detection areas K1 to K3.
- the separation distance D31a between the detection areas K2 and K4 is set for the detection areas K3 and K4.
- the separation distance D32 between the stop processing detection area K4 and the display 4011 end of the actuator 401 is larger than the separation distance D31 between the stop processing detection area K4 and the other detection areas K1 to K3.
- the separation distance D32 between the stop processing detection area K4 and the outer edge of the actuator 401 is larger than the separation distances D31a and D31b between the stop processing detection area K4 and the other detection areas K1 to K3.
- the distance D33 between the emergency operation input area 807 and the stop processing detection area K4 is larger than the distances D30a and D30b between the other detection areas K1 to K3.
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
Abstract
【課題】 ドローンの操作において、緊急操作時の誤入力を防止する。 【解決手段】揚力発生部102により飛行するドローン100を制御するための操作器401であって、ドローンに対する動作指示を行う複数種類の処理が表示されるディスプレイと、ディスプレイ上において操作者の入力を検知する領域であって、複数種類の処理が互いに異なる範囲に対応付けられている検知領域K1乃至K4と、を備え、処理の少なくとも1つは、揚力発生部を緊急停止させる揚力発生部停止処理であり、揚力発生部停止処理が対応付けられる検知領域K4と他の検知領域K1乃至K3との離間距離D1は、他の処理が対応付けられる検知領域同士の間の距離D10、D11よりも大きい。
Description
本願発明は、操作器、および、ドローンの操作用プログラムに関する。
一般にドローンと呼ばれる小型ヘリコプター(マルチコプター)の応用が進んでいる。その重要な応用分野の一つとして農地(圃場)への農薬や液肥などの薬剤散布が挙げられる(たとえば、特許文献1)。比較的狭い農地においては、有人の飛行機やヘリコプターではなくドローンの使用が適しているケースが多い。
準天頂衛星システムやRTK-GPS(Real Time Kinematic - Global Positioning System)などの技術によりドローンが飛行中に自機の絶対位置をセンチメートル単位で正確に知ることができるようになったことで、日本において典型的な狭く複雑な地形の農地でも、人手による操縦を最小限として自律的に飛行し、効率的かつ正確に薬剤散布を行なえるようになっている。
自律飛行を行うドローンに介入して手動操作を行う場合がある。しかしながら、手動操作において誤入力があると、適切な介入操作ができない。特に、ドローンの機体の破損を伴う緊急停止操作が意図せず行われると、作業の復旧に時間を要し、圃場にも損傷があるおそれがあった。
特許文献2には、タッチパネル上に操作ボタンや非常停止ボタンが表示される農作物育成支援システムが開示されている。特許文献3には、物理的な動作停止ボタンを押すことでドローンを停止させることが記載されている。特許文献4には、タッチスクリーンディスプレイに基本操作ボタンを備える携帯型操作デバイスが開示されている。特許文献5には、ゲーム環境又はシミュレーション環境において、ディスプレイにタッチ動作又はスワイプ動作を行うことでリソースを制御するシステムが開示されている。
ドローンの操作において、緊急操作時の誤入力を防止する。
本発明の一の観点に係る操作器は、揚力発生部により飛行するドローンを制御するための操作器であって、前記ドローンに対する動作指示を行う複数種類の処理が表示されるディスプレイと、前記ディスプレイ上において操作者の入力を検知する領域であって、前記複数種類の処理が互いに異なる範囲に対応付けられている検知領域と、を備え、前記処理の少なくとも1つは、前記揚力発生部を緊急停止させる揚力発生部停止処理であり、前記揚力発生部停止処理が対応付けられる前記検知領域と他の前記検知領域との離間距離は、他の処理が対応付けられる前記検知領域同士の間の距離よりも大きい。
前記揚力発生部停止処理が対応付けられる検知領域と前記操作器の外縁との離間距離は、前記揚力発生部停止処理が対応付けられる前記検知領域と他の前記検知領域との離間距離よりも大きいものとしてもよい。
前記ディスプレイ上に、前記複数種類の処理を入力可能な画面に遷移する指示を受け付ける緊急操作入力領域をさらに有し、前記緊急操作入力領域と、前記揚力発生部停止処理が対応付けられる検知領域との離間距離は、他の前記検知領域同士の間の距離よりも大きいものとしてもよい。
前記緊急操作入力領域が入力を受け付けた場合に、前記複数種類の処理を入力可能な画面に遷移すると共に、前記ドローンにホバリング指示を出力する請求項3記載の操作器。
前記緊急操作入力領域が受け付ける入力動作は、単一のタップ動作よりも入力に時間を要する動作であるものとしてもよい。
前記緊急操作入力領域が受け付ける入力動作は、スワイプ動作と複数回のタップ動作と長押し動作の少なくともいずれかを含むものとしてもよい。
前記他の検知領域は、ドローンの動作を再開する再開処理、離着陸地点に戻る帰還処理、ホバリング地点の下方に着陸する着陸処理、の少なくともいずれかの処理が対応付けられる検知領域を含むものとしてもよい。
前記処理は、前記ドローンの動作を再開する再開処理と、前記ドローンをホバリング地点の下方に着陸させる着陸処理と、を含み、前記再開処理が対応付けられる検知領域と、前記着陸処理が対応付けられる検知領域と、前記揚力発生部停止処理が対応付けられる検知領域と、が前記ディスプレイ上にこの順に並列して配置されるものとしてもよい。
本発明の別の観点に係るドローンの操作用プログラムは、揚力発生部により飛行するドローンの操作用プログラムであって、前記ドローンの操作器のディスプレイに、前記ドローンに対する動作指示を行う複数種類の処理を表示する命令と、前記ディスプレイ上において操作者の入力を検知する検知領域を規定し、前記複数種類の処理を互いに異なる範囲に対応付ける命令と、をコンピュータに実行させ、前記処理の少なくとも1つは、前記揚力発生部を緊急停止させる揚力発生部停止処理であり、前記揚力発生部停止処理が対応付けられる前記検知領域と他の前記検知領域との離間距離は、他の処理が対応付けられる前記検知領域同士の間の距離よりも大きい。
なお、コンピュータプログラムは、インターネット等のネットワークを介したダウンロードによって提供したり、CD-ROMなどのコンピュータ読取可能な各種の記録媒体に記録して提供したりすることができる。
なお、コンピュータプログラムは、インターネット等のネットワークを介したダウンロードによって提供したり、CD-ROMなどのコンピュータ読取可能な各種の記録媒体に記録して提供したりすることができる。
ドローンの操作において、緊急操作時の誤入力を防止できる。
以下、図を参照しながら、本願発明を実施するための形態について説明する。図はすべて例示である。以下の詳細な説明では、説明のために、開示された実施形態の完全な理解を促すために、ある特定の詳細について述べられている。しかしながら、実施形態は、これらの特定の詳細に限られない。また、図面を単純化するために、周知の構造および装置については概略的に示されている。
まず、本発明にかかるドローンの構成について説明する。本願明細書において、ドローンとは、動力手段(電力、原動機等)、操縦方式(無線であるか有線であるか、および、自律飛行型であるか手動操縦型であるか等)を問わず、複数の回転翼を有する飛行体全般を指すこととする。
図1乃至図5に示すように、回転翼101-1a、101-1b、101-2a、101-2b、101-3a、101-3b、101-4a、101-4b(ローターとも呼ばれる)は、ドローン100を飛行させるための手段であり、飛行の安定性、機体サイズ、および、電力消費量のバランスを考慮し、8機(2段構成の回転翼が4セット)備えられている。各回転翼101は、ドローン100の筐体110からのび出たアームにより筐体110の四方に配置されている。すなわち、進行方向左後方に回転翼101-1a、101-1b、左前方に回転翼101-2a、101-2b、右後方に回転翼101-3a、101-3b、右前方に回転翼101-4a、101-4bがそれぞれ配置されている。なお、ドローン100は図1における紙面下向きを進行方向とする。
回転翼101の各セットの外周には、略円筒形を形成する格子状のプロペラガード115-1,115-2,115-3,115-4が設けられ、回転翼101が異物と干渉しづらくなるようにしている。図2および図3に示されるように、プロペラガード115-1,115-2,115-3,115-4を支えるための放射状の部材は水平ではなくやぐら状の構造である。衝突時に当該部材が回転翼の外側に座屈することを促し、ローターと干渉することを防ぐためである。
回転翼101の回転軸から下方には、それぞれ棒状の足107-1,107-2,107-3,107-4が伸び出ている。
モーター102-1a、102-1b、102-2a、102-2b、102-3a、102-3b、102-4a、102-4bは、回転翼101-1a、101-1b、101-2a、101-2b、101-3a、101-3b、101-4a、101-4bを回転させる手段(典型的には電動機だが発動機等であってもよい)であり、一つの回転翼に対して1機設けられている。モーター102は、推進器の例である。1セット内の上下の回転翼(たとえば、101-1aと101-1b)、および、それらに対応するモーター(たとえば、102-1aと102-1b)は、ドローンの飛行の安定性等のために軸が同一直線上にあり、かつ、互いに反対方向に回転する。
ノズル103-1、103-2、103-3、103-4は、散布物を下方に向けて散布するための手段であり4機備えられている。なお、本願明細書において、散布物とは、農薬、除草剤、液肥、殺虫剤、種、および、水などの圃場に散布される液体または粉体を一般的に指すこととする。
タンク104は散布物を保管するためのタンクであり、重量バランスの観点からドローン100の重心に近い位置でかつ重心より低い位置に設けられている。ホース105-1、105-2、105-3、105-4は、タンク104と各ノズル103-1、103-2、103-3、103-4とを接続する手段であり、硬質の素材から成り、当該ノズルを支持する役割を兼ねていてもよい。ポンプ106は、散布物をノズルから吐出するための手段である。
図6に本願発明に係るドローン100の飛行制御システムの全体概念図を示す。本図は模式図であって、縮尺は正確ではない。同図において、ドローン100、操作器401、基地局404およびサーバ405が移動体通信網400を介して互いに接続されている。これらの接続は、移動体通信網400に代えてWi-Fiによる無線通信を行ってもよいし、一部又は全部が有線接続されていてもよい。また、構成要素間において、移動体通信網400に代えて、又は加えて、直接接続する構成を有していてもよい。
ドローン100および基地局404は、GPS等のGNSSの測位衛星410と通信を行い、ドローン100および基地局404座標を取得する。ドローン100および基地局404が通信する測位衛星410は複数あってもよい。
操作器401は、使用者の操作によりドローン100に指令を送信し、また、ドローン100から受信した情報(たとえば、位置、散布物の貯留量、電池残量、カメラ映像等)を表示するための手段であり、コンピュータプログラムを稼働する一般的なタブレット端末等の携帯情報機器によって実現されてよい。操作器401は、ユーザインターフェース装置としての入力部および表示部を備える。本願発明に係るドローン100は自律飛行を行なうよう制御されるが、離陸や帰還などの基本操作時、および、緊急時にはマニュアル操作が行なえるようになっていてもよい。携帯情報機器に加えて、緊急停止専用の機能を有する非常用操作器(図示していない)を使用してもよい。非常用操作器は緊急時に迅速に対応が取れるよう大型の緊急停止ボタン等を備えた専用機器であってもよい。さらに、操作器401とは別に、操作器401に表示される情報の一部又は全部を表示可能な小型携帯端末、例えばスマートホンがシステムに含まれていてもよい。小型携帯端末は、例えば基地局404と接続されていて、基地局404を介してサーバ405からの情報等を受信可能である。
圃場403は、ドローン100による散布の対象となる田圃や畑等である。実際には、圃場403の地形は複雑であり、事前に地形図が入手できない場合、あるいは、地形図と現場の状況が食い違っている場合がある。通常、圃場403は家屋、病院、学校、他の作物圃場、道路、鉄道等と隣接している。また、圃場403内に、建築物や電線等の侵入者が存在する場合もある。
基地局404は、RTK-GNSS基地局として機能し、ドローン100の正確な位置を提供できるようになっている。また、Wi-Fi通信の親機機能等を提供する装置であってもよい。Wi-Fi通信の親機機能とRTK-GNSS基地局が独立した装置であってもよい。また、基地局404は、3G、4G、およびLTE等の移動通信システムを用いて、サーバ405と互いに通信可能であってもよい。基地局404およびサーバ405は、営農クラウドを構成する。
サーバ405は、典型的にはクラウドサービス上で運営されているコンピュータ群と関連ソフトウェアであり、操作器401と携帯電話回線等で無線接続されていてもよい。サーバ405は、ハードウェア装置により構成されていてもよい。サーバ405は、ドローン100が撮影した圃場403の画像を分析し、作物の生育状況を把握して、飛行ルートを決定するための処理を行ってよい。また、保存していた圃場403の地形情報等をドローン100に提供してよい。加えて、ドローン100の飛行および撮影映像の履歴を蓄積し、様々な分析処理を行ってもよい。
小型携帯端末は例えばスマートホン等である。小型携帯端末の表示部には、ドローン100の運転に関し予測される動作の情報、より具体的にはドローン100が発着地点406に帰還する予定時刻や、帰還時に使用者が行うべき作業の内容等の情報が適宜表示される。また、小型携帯端末からの入力に基づいて、ドローン100の動作を変更してもよい。
通常、ドローン100は圃場403の外部にある発着地点から離陸し、圃場403に散布物を散布した後に、あるいは、散布物の補充や充電等が必要になった時に発着地点に帰還する。発着地点から目的の圃場403に至るまでの飛行経路(侵入経路)は、サーバ405等で事前に保存されていてもよいし、使用者が離陸開始前に入力してもよい。発着地点は、ドローン100に記憶されている座標により規定される仮想の地点であってもよいし、物理的な発着台があってもよい。
図7に本願発明に係る散布用ドローンの実施例の制御機能を表したブロック図を示す。フライトコントローラー501は、ドローン全体の制御を司る構成要素であり、具体的にはCPU、メモリー、関連ソフトウェア等を含む組み込み型コンピュータであってよい。フライトコントローラー501は、操作器401から受信した入力情報、および、後述の各種センサーから得た入力情報に基づき、ESC(Electronic Speed Control)等の制御手段を介して、モーター102-1a、102-1b、102-2a、102-2b、102-3a、102-3b、104-a、104-bの回転数を制御することで、ドローン100の飛行を制御する。モーター102-1a、102-1b、102-2a、102-2b、102-3a、102-3b、104-a、104-bの実際の回転数はフライトコントローラー501にフィードバックされ、正常な回転が行なわれているかを監視できる構成になっている。あるいは、回転翼101に光学センサー等を設けて回転翼101の回転がフライトコントローラー501にフィードバックされる構成でもよい。
フライトコントローラー501が使用するソフトウェアは、機能拡張・変更、問題修正等のために記憶媒体等を通じて、または、Wi-Fi通信やUSB等の通信手段を通じて書き換え可能になっている。この場合において、不正なソフトウェアによる書き換えが行なわれないように、暗号化、チェックサム、電子署名、ウィルスチェックソフト等による保護が行われている。また、フライトコントローラー501が制御に使用する計算処理の一部が、操作器401上、または、サーバ405上や他の場所に存在する別のコンピュータによって実行されてもよい。フライトコントローラー501は重要性が高いため、その構成要素の一部または全部が二重化されていてもよい。
フライトコントローラー501は、通信機530を介して、さらに、移動体通信網400を介して操作器401とやり取りを行ない、必要な指令を操作器401から受信すると共に、必要な情報を操作器401に送信できる。この場合に、通信には暗号化を施し、傍受、成り済まし、機器の乗っ取り等の不正行為を防止できるようにしておいてもよい。基地局404は、移動体通信網400を介した通信機能に加えて、RTK-GPS基地局の機能も備えている。RTK基地局404の信号とGPS等の測位衛星410からの信号を組み合わせることで、フライトコントローラー501により、ドローン100の絶対位置を数センチメートル程度の精度で測定可能となる。フライトコントローラー501は重要性が高いため、二重化・多重化されていてもよく、また、特定のGPS衛星の障害に対応するため、冗長化されたそれぞれのフライトコントローラー501は別の衛星を使用するよう制御されていてもよい。
6軸ジャイロセンサー505はドローン機体の互いに直交する3方向の加速度を測定する手段であり、さらに、加速度の積分により速度を計算する手段である。6軸ジャイロセンサー505は、上述の3方向におけるドローン機体の姿勢角の変化、すなわち角速度を測定する手段である。地磁気センサー506は、地磁気の測定によりドローン機体の方向を測定する手段である。気圧センサー507は、気圧を測定する手段であり、間接的にドローンの高度も測定することもできる。レーザーセンサー508は、レーザー光の反射を利用してドローン機体と地表との距離を測定する手段であり、IR(赤外線)レーザーであってもよい。ソナー509は、超音波等の音波の反射を利用してドローン機体と地表との距離を測定する手段である。これらのセンサー類は、ドローンのコスト目標や性能要件に応じて取捨選択してよい。また、機体の傾きを測定するためのジャイロセンサー(角速度センサー)、風力を測定するための風力センサーなどが追加されていてもよい。また、これらのセンサー類は、二重化または多重化されていてもよい。同一目的複数のセンサーが存在する場合には、フライトコントローラー501はそのうちの一つのみを使用し、それが障害を起こした際には、代替のセンサーに切り替えて使用するようにしてもよい。あるいは、複数のセンサーを同時に使用し、それぞれの測定結果が一致しない場合には障害が発生したと見なすようにしてもよい。
流量センサー510は散布物の流量を測定するための手段であり、タンク104からノズル103に至る経路の複数の場所に設けられている。液切れセンサー511は散布物の量が所定の量以下になったことを検知するセンサーである。
生育診断カメラ512aは、圃場403を撮影し、生育診断のためのデータを取得する手段である。生育診断カメラ512aは例えばマルチスペクトルカメラであり、互いに波長の異なる複数の光線を受信する。当該複数の光線は、例えば赤色光(波長約650nm)と近赤外光(波長約774nm)である。また、生育診断カメラ512aは、可視光線を受光するカメラであってもよい。
病理診断カメラ512bは、圃場403に生育する作物を撮影し、病理診断のためのデータを取得する手段である。病理診断カメラ512bは、例えば赤色光カメラである。赤色光カメラは、植物に含有されるクロロフィルの吸収スペクトルに対応する周波数帯域の光量を検出するカメラであり、例えば波長650nm付近の帯域の光量を検出する。病理診断カメラ512bは、赤色光と近赤外光の周波数帯域の光量を検出してもよい。また、病理診断カメラ512bとして、赤色光カメラおよびRGBカメラ等の可視光帯域の少なくとも3波長の光量を検出する可視光カメラの両方を備えていてもよい。なお、病理診断カメラ512bはマルチスペクトルカメラであってもよく、波長650nm乃至680nm付近の帯域の光量を検出するものとしてもよい。
なお、生育診断カメラ512aおよび病理診断カメラ512bは、1個のハードウェア構成により実現されていてもよい。
障害物検知カメラ513はドローン侵入者を検知するためのカメラであり、画像特性とレンズの向きが生育診断カメラ512aおよび病理診断カメラ512bとは異なるため、生育診断カメラ512aおよび病理診断カメラ512bとは別の機器である。スイッチ514はドローン100の使用者402が様々な設定を行なうための手段である。障害物接触センサー515はドローン100、特に、そのローターやプロペラガード部分が電線、建築物、人体、立木、鳥、または、他のドローン等の侵入者に接触したことを検知するためのセンサーである。なお、障害物接触センサー515は、6軸ジャイロセンサー505で代用してもよい。カバーセンサー516は、ドローン100の操作パネルや内部保守用のカバーが開放状態であることを検知するセンサーである。注入口センサー517はタンク104の注入口が開放状態であることを検知するセンサーである。
これらのセンサー類はドローンのコスト目標や性能要件に応じて取捨選択してよく、二重化・多重化してもよい。また、ドローン100外部の基地局404、操作器401、または、その他の場所にセンサーを設けて、読み取った情報をドローンに送信してもよい。たとえば、基地局404に風力センサーを設け、風力・風向に関する情報を移動体通信網400経由又はWi-Fi通信経由でドローン100に送信するようにしてもよい。
フライトコントローラー501はポンプ106に対して制御信号を送信し、吐出量の調整や吐出の停止を行なう。ポンプ106の現時点の状況(たとえば、回転数等)は、フライトコントローラー501にフィードバックされる構成となっている。
LED107は、ドローンの操作者に対して、ドローンの状態を知らせるための表示手段である。LEDに替えて、または、それに加えて液晶ディスプレイ等の表示手段を使用してもよい。ブザーは、音声信号によりドローンの状態(特にエラー状態)を知らせるための出力手段である。通信機530は、3G、4G、およびLTE等の移動体通信網400と接続されており、移動体通信網400を介して基地局、サーバで構成される営農クラウド、操作器と通信可能に接続される。通信機に替えて、または、それに加えて、Wi‐Fi、赤外線通信、Bluetooth(登録商標)、ZigBee(登録商標)、NFC等の他の無線通信手段、または、USB接続などの有線通信手段を使用してもよい。スピーカー520は、録音した人声や合成音声等により、ドローンの状態(特にエラー状態)を知らせる出力手段である。天候状態によっては飛行中のドローン100の視覚的表示が見にくいことがあるため、そのような場合には音声による状況伝達が有効である。警告灯521はドローンの状態(特にエラー状態)を知らせるストロボライト等の表示手段である。これらの入出力手段は、ドローンのコスト目標や性能要件に応じて取捨選択してよく、二重化・多重化してもよい。
●操作器の画面構成(1)
図8に本願発明に係る操作器401のディスプレイ4011に表示される、メイン画面G1の実施例を示す。本願発明に係るドローン操縦機は、スマートホンあるいはタブレット端末上で稼働するコンピュータプログラムによって実現される。メイン画面G1上には特定の圃場の画像が表示されているが、当該画面表示前に、使用者の管理下にある複数の圃場の選択を行なわせるメニュー画面が表示されてもよい。
図8に本願発明に係る操作器401のディスプレイ4011に表示される、メイン画面G1の実施例を示す。本願発明に係るドローン操縦機は、スマートホンあるいはタブレット端末上で稼働するコンピュータプログラムによって実現される。メイン画面G1上には特定の圃場の画像が表示されているが、当該画面表示前に、使用者の管理下にある複数の圃場の選択を行なわせるメニュー画面が表示されてもよい。
メイン画面G1上には、周辺機器状態表示領域801、飛行状況表示領域802、機体状況表示領域803、高度調整入力領域804、地図表示領域805、詳細ステータス表示領域806、および、緊急操作入力領域807が設けられている。なお、操縦桿に相当する機能はメイン画面G1上には表示されない。この構成によれば、操作ミスによりドローン100の作業計画に影響を及ぼすのを抑止できる。地図表示領域805は、メイン画面G1の全域に表示されている。周辺機器状態表示領域801、飛行状況表示領域802、機体状況表示領域803、高度調整入力領域804、詳細ステータス表示領域806、および、緊急操作入力領域807は、半透明に塗りつぶされた領域で構成され、地図表示領域805の前面に、地図表示領域805と重ね合わされて表示されている。
周辺機器状態表示領域801は、メイン画面G1の右上に配置され、ドローン100のバッテリー残量、基地局404のバッテリー残量、および操作器401のバッテリー残量等を表示する。ドローン100、基地局404および操作器401は、それぞれピクトグラムで表示されている。また、バッテリー残量は、数値および模式図により表されている。バッテリー残量の模式図は、残量に応じて異なる色で表示されてもよい。ドローン100、基地局404および操作器401のいずれかにエラーが生じている場合は、エラーが生じている構成に関する表示領域内に、その旨が表示される。エラーの表示は、正常時の表示とは異なる態様、例えば異なる色で表示されていてもよい。この構成によれば、エラーである旨の情報を操作者により確実に伝えられる。
飛行状況表示領域802は、メイン画面G1の上部に渡って帯状に配置され、ドローン100の飛行時間、飛行速度、高度等を表示する。加えて、薬剤散布の完了状況を示すためのプログレスバー(図示していない)を表示してもよい。
機体状況表示領域803は、メイン画面G1の左上に配置され、ドローン100の現在のステータス、たとえば、飛行準備中、薬剤補充中、離陸中、飛行中、緊急退避中等を表示する。加えて、次の作業の告知やユーザーへの行動要望(たとえば、「薬剤補充の準備をしてください」)を表示してもよい。
高度調整入力領域804は、ドローン100の現在の高度を増減する入力を受け付ける領域である。本願発明に係るドローン100は原則的に自律的に飛行し、高度もコンピュータプログラムにより自動的に調整されるが、たとえば、作物の高さの高低等に応じて、操作者が高度を微調整したい場合が生じ得るためである。高度調整入力領域804は、高度上昇ボタン804aおよび高度下降ボタン804bにより構成され、それぞれが離間して配置されていてもよい。具体的には、高度上昇ボタン804aおよび高度下降ボタン804bは、画面の右端および左端であって、操作器401を左右の手で把持したときに親指が届く位置に配置されていてもよい。この構成によれば、操作器401を両手で把持した姿勢のまま入力が可能である。
地図表示領域805は、薬剤散布の対象となる圃場を含む地図であり、航空写真であっても地形図であっても、または、それらの重ね合わせ表示であってよい。縮尺、および、位置が、ジェスチャー操作等で調整可能になっていてもよい。地図表示領域805には、ドローン100の現在の位置を示すピン810がリアルタイムで表示される。地図表示と切り替えて、あるいは、地図表示と共に、ドローン100のカメラ512、513が撮影した圃場403の画像を表示してもよい。ドローン100の飛行予定ルートが航空写真又は地図上に表示されてもよい。
詳細ステータス表示領域806は、メイン画面G1の右部に配置されている。詳細ステータス表示領域806は、ポンプ状況、薬剤残量、通信状況、GPS受信状況等、ドローン100およびその周辺構成の状況がより詳細に表示される。
緊急操作入力領域807は、ドローン100の故障や衝突等の緊急事態が発生した際の指令を受け付ける領域である。緊急操作入力領域807は、緊急時に操作者が容易に操作できるように、メイン画面G1上の大きな部分、例えば他の表示領域および入力領域よりも広い範囲を占めている。緊急操作ボタンは、画面の縁から十分な距離だけ離間している。この構成によれば、操作器401を持つ操作者の指が入力領域にかかることによる誤操作を防止できる。
緊急操作入力領域807上には、緊急時に行なうべき操作が文字で表示されている。緊急時の操作は、単一のタップ動作と比較して入力動作に長時間を要する動作である。緊急時の操作は、例えば横方向にスワイプする動作である。また、緊急時の操作は、複数回タップする動作であってもよい。さらに、緊急時の操作は、長押し動作であってもよい。このような構成によれば、操縦者が動揺している場合でも間違えることがない単純な操作であって、かつ、誤操作が行われにくい。この動作により、ドローン100は自律飛行を中断してホバリングを開始する。言い換えれば、緊急操作入力領域807が緊急時の操作の入力を受け付けると、複数種類の処理を入力可能な画面、すなわち図9に示す緊急メニュー画面G2に遷移すると共に、ドローン100にホバリング指示を出力する。
図9は、メイン画面G1において緊急操作入力領域807に所定の操作が入力されたときに表示される、緊急メニュー画面G2を示す。緊急メニュー画面G2は、メイン画面G1の一部を覆うように重畳的に表示される。同図に示すように、緊急メニュー画面G2には、ドローン100に対する動作指示を行う複数種類の処理が表示される。緊急メニュー画面G2には、「飛行を再開」ボタンB1、「離着陸地点に戻る」ボタンB2、「その場に軟着陸」ボタンB3および「緊急モーター停止」ボタンB4がこの順に並列して表示されている。各ボタンB1乃至B4には、処理の内容に則した、それぞれ異なる模式図が、文字と合わせて表示されている。
操作器401のディスプレイ4011上には、操作者の入力を検知する検知領域K1、K2、K3、K4が規定されている。検知領域K1、K2、K3、K4は、それぞれ異なる種類の処理が対応付けられている。本実施形態においては、各検知領域は、ディスプレイ4011上に表示される、処理内容を示す文字および図柄の表示範囲と対応付けられている。すなわち、「飛行を再開」ボタンB1の表示範囲に、ドローン100の動作を再開する再開処理を受け付ける再開処理検知領域K1が規定されている。「離着陸地点に戻る」ボタンB2および「その場に軟着陸」ボタンB3には、ドローン100を着陸させる着陸処理を受け付ける着陸処理検知領域K2、K3がそれぞれ規定されている。より詳細には、「離着陸地点に戻る」ボタンB2に対応する着陸処理検知領域K2には、離着陸地点に帰還する帰還処理が対応付けられる。「その場に軟着陸」ボタンB3に対応する着陸処理検知領域K3には、ホバリングしている地点の下方に着陸させる着陸処理が対応付けられる。
「緊急モーター停止」ボタンB4は、揚力発生部の例であるモータ102を緊急停止させる揚力発生部停止処理を受け付ける停止処理検知領域K4が規定されている。緊急停止とは、他の飛行制御を行わず、ただちにモータ102を停止させる処理であり、当該処理によりドローン100は落下する。揚力発生部停止処理は、ドローン100が破損する可能性があるが、最も速く飛行を停止させることができる処理である。なお、文字および図柄の表示範囲と検知領域とが互いに異なる位置に規定されていてもよい。
本実施形態においては、ボタンB1乃至B4は左から右へ向かってこの順に表示されている。また、ボタンB1は最も緊急性の低い場合に選択される処理であり、ボタンB4は最も緊急性の高い場合の処理である。交通信号機においても、左端に「進行可」、右端に緊急性の高い「停止」を指示する表示があるため、操作器401においても同様の順序で表示することにより、感覚的な入力操作がしやすい。ボタンB1は青又は緑色、ボタンB2およびB3は黄色又はこれに近い色、ボタンB4は赤色で表示することにより、一層交通信号機に近い表示となり、操作に不慣れな操作者にも理解しやすい。ひいては、誤入力を防止することができる。
なお、ボタンB1乃至B4は、右から左へ向かってこの順に表示されていてもよい。
停止処理検知領域K4と他の検知領域K1乃至K3との離間距離D1は、他の検知領域K1乃至K3同士の間の距離D10、D11よりも大きい。この構成によれば、停止処理検知領域K4をタップするときに、誤って別の検知領域K1乃至K3に触れることによる誤入力を防止することができる。また、停止処理検知領域K4の周囲に他のボタンB1乃至B3が表示されないため、停止処理検知領域K4が強調して表示される効果がある。停止処理検知領域K4と他の検知領域K1乃至K3との離間距離D1は、例えば成人の人差指の幅の統計値を参考に決めることができる。一例として、離間距離D1は、成人女性の人差指の遠位関節幅の平均値である13.8mm以上とすることができる。または成人男性の人差指の遠位関節幅の平均値である15.6mm以上としても良い。この構成によれば、人差指での入力操作時にも誤入力が起きにくい。なお、上述の寸法は、産業技術総合研究所 AIST 日本人の手の寸法データ(2012)に基づくものである。
停止処理検知領域K4と操作器401のディスプレイ4011端部との離間距離D2は、停止処理検知領域K4と他の検知領域K1乃至K3との離間距離D1よりも大きい。さらに言えば、停止処理検知領域K4と操作器401の外縁との離間距離D3は、停止処理検知領域K4と他の検知領域K1乃至K3との離間距離D1よりも大きい。停止処理検知領域K4と操作器401の外縁との離間距離D2は、例えば成人の親指の付け根から親指の押圧面までの長さより長い。この構成によれば、操作器401を把持する際に指が停止処理検知領域K4にかかることを防止できる。
緊急操作入力領域807と停止処理検知領域K4との離間距離D4は、他の検知領域K1乃至K3同士の間の距離D10、D11よりも大きい。緊急操作の入力を行うとき、緊急メニュー画面G2に遷移したことに気づかず連続して入力した場合に、緊急操作入力領域807に入力した操作が緊急メニュー画面G2に入力されてしまうと、誤動作に繋がる。そこで、緊急メニュー画面G2は、緊急操作入力領域807から所定以上離間した位置に表示される。
●操作器の画面構成(2)
図10に示す第2実施形態に係る操作器401の緊急メニュー画面G21には、「飛行を再開」ボタンB1、「離着陸地点に戻る」ボタンB2、「その場に軟着陸」ボタンB3および「緊急モーター停止」ボタンB4が上から下に向かってこの順に並列して表示されている。停止処理検知領域K4と他の検知領域K1乃至K3との離間距離D21は、他の検知領域K1乃至K3同士の間の距離D20a、D20bよりも大きい。停止処理検知領域K4と操作器401のディスプレイ4011端部との離間距離D22は、停止処理検知領域K4と他の検知領域K1乃至K3との離間距離D1よりも大きい。停止処理検知領域K4と操作器401の外縁との離間距離D23は、停止処理検知領域K4と他の検知領域K1乃至K3との離間距離D21よりも大きい。本実施形態においては、停止処理検知領域K4の左右の外縁は、ディスプレイ4011端部から同距離にあり、ディスプレイ4011の左右の外縁は、操作器401端部から同距離にあるが、それぞれの距離が互いに異なっていてもよい。緊急操作入力領域807と、停止処理検知領域K4との離間距離D24は、他の検知領域K1乃至K3同士の間の距離D20a、D20bよりも大きい。
図10に示す第2実施形態に係る操作器401の緊急メニュー画面G21には、「飛行を再開」ボタンB1、「離着陸地点に戻る」ボタンB2、「その場に軟着陸」ボタンB3および「緊急モーター停止」ボタンB4が上から下に向かってこの順に並列して表示されている。停止処理検知領域K4と他の検知領域K1乃至K3との離間距離D21は、他の検知領域K1乃至K3同士の間の距離D20a、D20bよりも大きい。停止処理検知領域K4と操作器401のディスプレイ4011端部との離間距離D22は、停止処理検知領域K4と他の検知領域K1乃至K3との離間距離D1よりも大きい。停止処理検知領域K4と操作器401の外縁との離間距離D23は、停止処理検知領域K4と他の検知領域K1乃至K3との離間距離D21よりも大きい。本実施形態においては、停止処理検知領域K4の左右の外縁は、ディスプレイ4011端部から同距離にあり、ディスプレイ4011の左右の外縁は、操作器401端部から同距離にあるが、それぞれの距離が互いに異なっていてもよい。緊急操作入力領域807と、停止処理検知領域K4との離間距離D24は、他の検知領域K1乃至K3同士の間の距離D20a、D20bよりも大きい。
●操作器の画面構成(3)
図11に示す第3実施形態に係る操作器401の緊急メニュー画面G22には、「飛行を再開」ボタンB1が左上、「離着陸地点に戻る」ボタンB2が左下、「その場に軟着陸」ボタンB3が右上、および「緊急モーター停止」ボタンB4が右下に表示されている。停止処理検知領域K4と他の検知領域K1乃至K3との離間距離D31a、D31bは、他の検知領域K1乃至K3同士の間の距離D30a、D30bよりも大きい。ここで、「離着陸地点に戻る」ボタンB2は、「その場に軟着陸」ボタンB3よりも使用頻度が高いため、特に、検知領域K2とK4の間の離間距離D31aを、検知領域K3とK4の離間距離D31bよりも大きくすることで、誤って「緊急モーター停止」ボタンB4を押してしまうリスクを低減できる。停止処理検知領域K4と操作器401のディスプレイ4011端部との離間距離D32は、停止処理検知領域K4と他の検知領域K1乃至K3との離間距離D31よりも大きい。停止処理検知領域K4と操作器401の外縁との離間距離D32は、停止処理検知領域K4と他の検知領域K1乃至K3との離間距離D31a、D31bよりも大きい。緊急操作入力領域807と、停止処理検知領域K4との離間距離D33は、他の検知領域K1乃至K3同士の間の距離D30a、D30bよりも大きい。さらに、その場に軟着陸を行うと圃場内の農作物を痛めてしまう可能性があるため、誤って「その場に軟着陸」ボタンB3を押すことも防止できることが望ましい。そのため、使用頻度が高い「飛行を再開」ボタンB1と「その場に軟着陸」ボタンB3の間の離間距離D30bは、離間距離D30aよりも大きくすることが望ましい。
図11に示す第3実施形態に係る操作器401の緊急メニュー画面G22には、「飛行を再開」ボタンB1が左上、「離着陸地点に戻る」ボタンB2が左下、「その場に軟着陸」ボタンB3が右上、および「緊急モーター停止」ボタンB4が右下に表示されている。停止処理検知領域K4と他の検知領域K1乃至K3との離間距離D31a、D31bは、他の検知領域K1乃至K3同士の間の距離D30a、D30bよりも大きい。ここで、「離着陸地点に戻る」ボタンB2は、「その場に軟着陸」ボタンB3よりも使用頻度が高いため、特に、検知領域K2とK4の間の離間距離D31aを、検知領域K3とK4の離間距離D31bよりも大きくすることで、誤って「緊急モーター停止」ボタンB4を押してしまうリスクを低減できる。停止処理検知領域K4と操作器401のディスプレイ4011端部との離間距離D32は、停止処理検知領域K4と他の検知領域K1乃至K3との離間距離D31よりも大きい。停止処理検知領域K4と操作器401の外縁との離間距離D32は、停止処理検知領域K4と他の検知領域K1乃至K3との離間距離D31a、D31bよりも大きい。緊急操作入力領域807と、停止処理検知領域K4との離間距離D33は、他の検知領域K1乃至K3同士の間の距離D30a、D30bよりも大きい。さらに、その場に軟着陸を行うと圃場内の農作物を痛めてしまう可能性があるため、誤って「その場に軟着陸」ボタンB3を押すことも防止できることが望ましい。そのため、使用頻度が高い「飛行を再開」ボタンB1と「その場に軟着陸」ボタンB3の間の離間距離D30bは、離間距離D30aよりも大きくすることが望ましい。
(本願発明による技術的に顕著な効果)
ドローンの操作において、緊急操作時の誤入力を防止する。
ドローンの操作において、緊急操作時の誤入力を防止する。
Claims (9)
- 揚力発生部により飛行するドローンを制御するための操作器であって、
前記ドローンに対する動作指示を行う複数種類の処理が表示されるディスプレイと、
前記ディスプレイ上において操作者の入力を検知する領域であって、前記複数種類の処理が互いに異なる範囲に対応付けられている検知領域と、
を備え、
前記処理の少なくとも1つは、前記揚力発生部を緊急停止させる揚力発生部停止処理であり、
前記揚力発生部停止処理が対応付けられる前記検知領域と他の前記検知領域との離間距離は、他の処理が対応付けられる前記検知領域同士の間の距離よりも大きい、
操作器。
- 前記揚力発生部停止処理が対応付けられる検知領域と前記操作器の外縁との離間距離は、前記揚力発生部停止処理が対応付けられる前記検知領域と他の前記検知領域との離間距離よりも大きい、
請求項1記載の操作器。
- 前記ディスプレイ上に、前記複数種類の処理を入力可能な画面に遷移する指示を受け付ける緊急操作入力領域をさらに有し、
前記緊急操作入力領域と、前記揚力発生部停止処理が対応付けられる検知領域との離間距離は、他の前記検知領域同士の間の距離よりも大きい、
請求項1又は2記載の操作器。
- 前記緊急操作入力領域が入力を受け付けた場合に、前記複数種類の処理を入力可能な画面に遷移すると共に、前記ドローンにホバリング指示を出力する
請求項3記載の操作器。
- 前記緊急操作入力領域が受け付ける入力動作は、単一のタップ動作よりも入力に時間を要する動作である、
請求項3又は4記載の操作器。
- 前記緊急操作入力領域が受け付ける入力動作は、スワイプ動作と複数回のタップ動作と長押し動作の少なくともいずれかを含む、
請求項5記載の操作器。
-
前記他の検知領域は、ドローンの動作を再開する再開処理、離着陸地点に戻る帰還処理、ホバリング地点の下方に着陸する着陸処理、の少なくともいずれかの処理が対応付けられる検知領域を含む
請求項1乃至6のいずれかに記載の操作器。
- 前記処理は、前記ドローンの動作を再開する再開処理と、前記ドローンをホバリング地点の下方に着陸させる着陸処理と、を含み、
前記再開処理が対応付けられる検知領域と、前記着陸処理が対応付けられる検知領域と、前記揚力発生部停止処理が対応付けられる検知領域と、が前記ディスプレイ上にこの順に並列して配置される、
請求項1乃至7のいずれかに記載の操作器。
- 揚力発生部により飛行するドローンの操作用プログラムであって、
前記ドローンの操作器のディスプレイに、前記ドローンに対する動作指示を行う複数種類の処理を表示する命令と、
前記ディスプレイ上において操作者の入力を検知する検知領域を規定し、前記複数種類の処理を互いに異なる範囲に対応付ける命令と、
をコンピュータに実行させ、
前記処理の少なくとも1つは、前記揚力発生部を緊急停止させる揚力発生部停止処理であり、
前記揚力発生部停止処理が対応付けられる前記検知領域と他の前記検知領域との離間距離は、他の処理が対応付けられる前記検知領域同士の間の距離よりも大きい、
ドローンの操作用プログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022501462A JP7457409B2 (ja) | 2020-02-19 | 2020-02-19 | 操作器、および、ドローンの操作用プログラム |
PCT/JP2020/006437 WO2021166101A1 (ja) | 2020-02-19 | 2020-02-19 | 操作器、および、ドローンの操作用プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2020/006437 WO2021166101A1 (ja) | 2020-02-19 | 2020-02-19 | 操作器、および、ドローンの操作用プログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2021166101A1 true WO2021166101A1 (ja) | 2021-08-26 |
Family
ID=77390752
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2020/006437 WO2021166101A1 (ja) | 2020-02-19 | 2020-02-19 | 操作器、および、ドローンの操作用プログラム |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP7457409B2 (ja) |
WO (1) | WO2021166101A1 (ja) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002166335A (ja) * | 2000-11-30 | 2002-06-11 | Toyoda Mach Works Ltd | 工具交換機能付工作機械用数値制御装置の操作盤 |
JP2003216231A (ja) * | 2002-01-18 | 2003-07-31 | Hitachi Ltd | 現場監視・操作装置 |
JP2017168035A (ja) * | 2016-03-18 | 2017-09-21 | ヤンマー株式会社 | 走行指示装置 |
WO2019168043A1 (ja) * | 2018-02-28 | 2019-09-06 | 株式会社ナイルワークス | ドローン、操作機、ドローンの制御方法、操作機の制御方法、および、ドローン制御プログラム |
-
2020
- 2020-02-19 JP JP2022501462A patent/JP7457409B2/ja active Active
- 2020-02-19 WO PCT/JP2020/006437 patent/WO2021166101A1/ja active Application Filing
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002166335A (ja) * | 2000-11-30 | 2002-06-11 | Toyoda Mach Works Ltd | 工具交換機能付工作機械用数値制御装置の操作盤 |
JP2003216231A (ja) * | 2002-01-18 | 2003-07-31 | Hitachi Ltd | 現場監視・操作装置 |
JP2017168035A (ja) * | 2016-03-18 | 2017-09-21 | ヤンマー株式会社 | 走行指示装置 |
WO2019168043A1 (ja) * | 2018-02-28 | 2019-09-06 | 株式会社ナイルワークス | ドローン、操作機、ドローンの制御方法、操作機の制御方法、および、ドローン制御プログラム |
Also Published As
Publication number | Publication date |
---|---|
JPWO2021166101A1 (ja) | 2021-08-26 |
JP7457409B2 (ja) | 2024-03-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6757026B2 (ja) | ドローン、操作機、ドローンの制御方法、操作機の制御方法、および、ドローン制御プログラム | |
JP6751935B2 (ja) | 安全性を向上した農業用ドローン | |
JP6913979B2 (ja) | ドローン | |
JP6889502B2 (ja) | ドローン、ドローンの制御方法、および、ドローン制御プログラム | |
JP6851106B2 (ja) | 運転経路生成システム、運転経路生成方法、および運転経路生成プログラム、ならびにドローン | |
WO2019189929A1 (ja) | 薬剤散布用ドローン | |
JP7008999B2 (ja) | 運転経路生成システム、運転経路生成方法、および運転経路生成プログラム、ならびにドローン | |
JP6982908B2 (ja) | 運転経路生成装置、運転経路生成方法、および運転経路生成プログラム、ならびにドローン | |
CN112997129B (zh) | 行驶路径生成装置、行驶路径生成方法、计算机可读取存储介质以及无人机 | |
JP2021073902A (ja) | ドローンの制御システム、ドローンの制御方法およびドローン | |
WO2021205559A1 (ja) | 表示装置、ドローンの飛行可否判定装置、ドローン、ドローンの飛行可否判定方法、およびコンピュータプログラム | |
WO2021140657A1 (ja) | ドローンシステム、飛行管理装置およびドローン | |
WO2021191947A1 (ja) | ドローンシステム、ドローンおよび障害物検知方法 | |
JP2022088441A (ja) | ドローン操縦機、および、操縦用プログラム | |
WO2021166101A1 (ja) | 操作器、および、ドローンの操作用プログラム | |
JP7412041B2 (ja) | 無人航空機制御システム | |
WO2021224970A1 (ja) | 測位システム、移動体、速度推定システム、測位方法、および速度推定方法 | |
WO2021166175A1 (ja) | ドローンシステム、操作器および作業エリアの定義方法 | |
JP7285557B2 (ja) | 運転経路生成システム、運転経路生成方法、運転経路生成プログラム、およびドローン | |
WO2021130816A1 (ja) | 散布システムおよび散布管理装置 | |
WO2021111621A1 (ja) | 植物の病理診断システム、植物の病理診断方法、植物の病理診断装置、およびドローン | |
JP7490208B2 (ja) | ドローンシステム、ドローン、管制装置、ドローンシステムの制御方法、および、ドローンシステム制御プログラム | |
JP7412038B2 (ja) | 再測量要否判定装置、測量システム、ドローンシステム、および再測量要否判定方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 20919655 Country of ref document: EP Kind code of ref document: A1 |
|
ENP | Entry into the national phase |
Ref document number: 2022501462 Country of ref document: JP Kind code of ref document: A |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
122 | Ep: pct application non-entry in european phase |
Ref document number: 20919655 Country of ref document: EP Kind code of ref document: A1 |