WO2022113260A1 - センシングシステム、センシングデータ取得方法、及び制御装置 - Google Patents

センシングシステム、センシングデータ取得方法、及び制御装置 Download PDF

Info

Publication number
WO2022113260A1
WO2022113260A1 PCT/JP2020/044196 JP2020044196W WO2022113260A1 WO 2022113260 A1 WO2022113260 A1 WO 2022113260A1 JP 2020044196 W JP2020044196 W JP 2020044196W WO 2022113260 A1 WO2022113260 A1 WO 2022113260A1
Authority
WO
WIPO (PCT)
Prior art keywords
sensing
target area
sensing data
traveling body
ugv2
Prior art date
Application number
PCT/JP2020/044196
Other languages
English (en)
French (fr)
Inventor
満 中澤
順 滝澤
Original Assignee
楽天グループ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 楽天グループ株式会社 filed Critical 楽天グループ株式会社
Priority to EP20934878.8A priority Critical patent/EP4033322A1/en
Priority to JP2021564206A priority patent/JP7041794B1/ja
Priority to PCT/JP2020/044196 priority patent/WO2022113260A1/ja
Priority to CN202080037168.3A priority patent/CN114829896A/zh
Priority to US17/595,339 priority patent/US20230116047A1/en
Priority to TW110143472A priority patent/TWI771231B/zh
Publication of WO2022113260A1 publication Critical patent/WO2022113260A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0094—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots involving pointing a payload, e.g. camera, weapon, sensor, towards a fixed or moving target
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/12—Target-seeking control
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64C—AEROPLANES; HELICOPTERS
    • B64C39/00—Aircraft not otherwise provided for
    • B64C39/02—Aircraft not otherwise provided for characterised by special use
    • B64C39/024—Aircraft not otherwise provided for characterised by special use of the remote controlled vehicle type, i.e. RPV
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/02—Picture taking arrangements specially adapted for photogrammetry or photographic surveying, e.g. controlling overlapping of pictures
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0011—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
    • G05D1/0044—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement by providing the operator with a computer generated representation of the environment of the vehicle, e.g. virtual reality, maps
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/10—Simultaneous control of position or course in three dimensions
    • G05D1/101—Simultaneous control of position or course in three dimensions specially adapted for aircraft
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/17—Terrestrial scenes taken from planes or by drones
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/188—Vegetation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • A—HUMAN NECESSITIES
    • A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01G—HORTICULTURE; CULTIVATION OF VEGETABLES, FLOWERS, RICE, FRUIT, VINES, HOPS OR SEAWEED; FORESTRY; WATERING
    • A01G25/00—Watering gardens, fields, sports grounds or the like
    • A01G25/16—Control of watering
    • A01G25/167—Control by humidity of the soil itself or of devices simulating soil or of the atmosphere; Soil humidity sensors
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00—UAVs specially adapted for particular uses or applications
    • B64U2101/30—UAVs specially adapted for particular uses or applications for imaging, photography or videography
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30181—Earth observation
    • G06T2207/30188—Vegetation; Agriculture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Definitions

  • Patent Document 1 describes that an entire field is photographed from a video camera mounted on an industrial unmanned helicopter to acquire data showing the reflectance of an image and natural light.
  • the flying object By using the flying object as described above, it is possible to sense a relatively wide range from a bird's-eye view. However, when a relatively narrow range is finely sensed, it is hard to say that sensing using an air vehicle is suitable. For example, if a low-flying flight is performed so that the flying object senses from a position as close to the ground as possible, a ground effect may occur and the flying object may become unstable. It is also possible to sense the aircraft in a landed state, but in this case, it is not preferable from the viewpoint of energy consumption in addition to the viewpoint of the stability of the aircraft. In addition, when the flying object senses from the sky using a high-magnification sensor, even a slight vibration during flight will affect the magnification according to the magnification, so delicate sensing is difficult.
  • sensing system a sensing data acquisition method, and a control device that can acquire suitable sensing data in consideration of the advantages of both bird's-eye view sensing and fine sensing.
  • the invention according to claim 1 has a first acquisition unit for acquiring first sensing data obtained by sensing the lower part of an airborne vehicle, and the first sensing unit.
  • An extraction unit that extracts a target area sensed by a traveling body capable of traveling on the ground based on data, a control unit that controls movement for moving the traveling body toward the target area, and the movement control. It is characterized by comprising a second acquisition unit for acquiring a second sensing data obtained by sensing the whole or a part of the target area by the traveling body that has moved according to the above.
  • the invention according to claim 2 is characterized in that the sensing system according to claim 1 further includes a display control unit for displaying information on the target area on a display terminal based on the second sensing data. do. This makes it possible for the administrator to visually grasp the information regarding the extracted target area.
  • the extraction unit obtains a region with a high probability of an abnormality occurring in the lower portion based on the first sensing data. It is characterized in that it is extracted as the target area.
  • the invention according to claim 4 is the sensing system according to any one of claims 1 to 3, wherein the first sensing data includes a plantability image, and the extraction unit is the plantability degree. It is characterized in that the target region is extracted based on the activity in the image.
  • the invention according to claim 5 is the sensing system according to any one of claims 1 to 4, wherein the second sensing data is the water content, temperature, salinity, and electricity in the ground in the target area. It is characterized by including data on at least one of conductivity and acidity. This makes it possible to observe the condition of plants and soil more precisely.
  • the invention according to claim 6 is the sensing system according to any one of claims 1 to 5, wherein the second sensing data is acquired by using a sensor inserted in the ground in the target area. To. This makes it possible to observe the condition of plants and soil more precisely.
  • the invention according to claim 7 determines whether or not an abnormality has occurred in the target region based on the second sensing data in the sensing system according to any one of claims 1 to 6. It is characterized by further including a determination unit. As a result, it is possible to quickly and highly accurately determine whether or not an abnormality has occurred in the target area by using the sensing data in which the advantages of both the bird's-eye view sensing and the delicate sensing are taken into consideration.
  • the invention according to claim 8 is characterized in that, in the sensing system according to claim 3 or 7, the abnormality is any of plants, soil, and roads.
  • the second sensing data is transmitted to a terminal owned by one of the managers of the plant, the soil, and the road. It is characterized by further providing a part. This allows the manager to confirm the second sensing data and investigate in more detail whether there is an abnormality in the plant, soil, or road.
  • the invention according to claim 10 is the sensing system according to any one of claims 1 to 9, wherein the control unit includes data about the entire target area in the second sensing data.
  • the traveling body is continuously sensed at the target region a plurality of times. Thereby, even if the entire target area does not fit in the angle of view of the camera, for example, the second sensing data can be obtained for the entire target area.
  • the invention according to claim 11 is the sensing system according to any one of claims 1 to 10, wherein the traveling body senses the ground before moving the traveling body toward the target area.
  • the control unit further includes a third acquisition unit for acquiring the third sensing data obtained in the above-mentioned method, and the control unit is directed toward the target region based on the first sensing data and the third sensing data. It is characterized by performing movement control for moving a traveling body. As a result, the traveling body can be accurately guided to the target area.
  • the control unit uses the third sensing data by matching the first sensing data with the third sensing data. It is characterized in that movement control for moving the traveling body toward the detected target area is performed. As a result, the traveling body can be guided to the target area more accurately.
  • the control unit when the target area is extracted by the extraction unit, the control unit is in a hovering state. After moving the traveling body within the range of the sensing performed by the body, the movement control for moving the traveling body toward the target region is performed based on the first sensing data. And. As a result, the traveling body can be accurately guided to the target area.
  • the invention according to claim 14 is the sensing system according to claim 13, wherein the flying object performs the sensing while moving a predetermined flight route, and the target area is extracted by the extracting unit. If so, the control unit is characterized in that the movement along the route is interrupted by the flying object to shift to the hovering state. As a result, the traveling body can be guided to the target area more accurately.
  • the invention according to claim 15 is the sensing system according to any one of claims 1 to 13, wherein the distance between the target area and the flying object is between the target area and the traveling body. It is characterized by being larger than the distance of.
  • the invention according to claim 16 is the sensing system according to any one of claims 1 to 15, wherein the range of the sensing performed by the flying object is wider than the range of the sensing performed by the traveling body. It is characterized by that.
  • the invention according to claim 17 is a step of acquiring the first sensing data obtained by sensing the lower part of an airborne vehicle, and traveling on the ground based on the first sensing data.
  • the step of extracting the target area sensed by the body, the control unit that performs movement control for moving the traveling body toward the target area, and the traveling body moved according to the movement control are the target areas. It is characterized by including a step of acquiring a second sensing data obtained by sensing the whole or a part.
  • the invention according to claim 18 is traveling on the ground based on a first acquisition unit that acquires first sensing data obtained by sensing downward of an airborne vehicle and the first sensing data.
  • An extraction unit that extracts a target area sensed by a possible traveling body, a control unit that performs movement control for moving the traveling body toward the target area, and the traveling body that has moved according to the movement control. It is characterized by comprising a second acquisition unit for acquiring a second sensing data obtained by sensing the whole or a part of the target area.
  • FIG. 3 is a sequence diagram showing an example of processing executed between UAV1, UGV2, and the management server 3 in the first embodiment.
  • FIG. 3 is a sequence diagram showing an example of processing executed between UAV1, UGV2, and the management server 3 in the second embodiment.
  • FIG. 3 is a sequence diagram showing an example of processing executed between UAV1, UGV2, and the management server 3 in the third embodiment.
  • FIG. 3 is a sequence diagram showing an example of processing executed between UAV1, UGV2, and the management server 3 in the fourth embodiment.
  • FIG. 5 is a sequence diagram showing an example of processing executed between UAV1, UGV2, and the management server 3 in the fifth embodiment.
  • FIG. 1 is a diagram showing a schematic configuration example of the sensing system S.
  • the sensing system S includes an unmanned aerial vehicle (hereinafter referred to as "UAV (Unmanned Aerial Vehicle)") 1, an unmanned ground vehicle (hereinafter referred to as UGV (Unmanned Ground Vehicle)) 2, and a management server. 3 is included.
  • UAV1 and UGV2 can communicate with each other via the communication network NW with the management server 3, respectively.
  • the communication network NW is composed of, for example, the Internet, a mobile communication network, a radio base station thereof, and the like.
  • UAV1 is an example of an air vehicle, and is also called a drone or a multicopter.
  • the UAV1 can fly or autonomously fly from the ground according to remote control by an operator.
  • UAV1 is managed by GCS (Ground Control Station).
  • GCS Gate Control Station
  • the GCS may be mounted on a control terminal operated by an operator as an application, or may be configured by a server such as a management server 3.
  • UGV2 is an example of an unmanned vehicle that can autonomously travel on the ground.
  • running means moving on the ground (which may include on plants and obstacles) and is distinguished from flight.
  • movement means that the current position changes in time series.
  • the UGV2 may be a vehicle having a plurality of wheels, a robot having no wheels (for example, a bipedal walking robot), or the like.
  • FIG. 2 is a diagram showing a schematic configuration example of UAV1.
  • the UAV 1 includes a drive unit 11, a wireless communication unit 12, a sensor unit 13, a positioning unit 14, a control unit 15, and the like.
  • FIG. 3 is a diagram showing an example of a functional block in the control unit 15.
  • the UAV1 includes a rotor (propeller) which is a horizontal rotor and a battery that supplies electric power to each part of the UAV1.
  • the drive unit 11 includes a motor, a rotating shaft, and the like.
  • the drive unit 11 rotates a plurality of rotors by a motor driven according to a control signal output from the control unit 15, a rotating shaft, and the like.
  • the wireless communication unit 12 is responsible for controlling the communication performed with the management server 3 via the communication network NW. Further, the wireless communication unit 12 may be provided with a short-range wireless communication function such as Bluetooth (registered trademark).
  • the sensor unit 13 includes various sensors necessary for flight control of the UAV1.
  • the various sensors include, for example, an optical sensor, a 3-axis angular velocity sensor, a 3-axis acceleration sensor, a geomagnetic sensor, and the like.
  • the detection data detected by the sensor unit 13 is output to the control unit 15.
  • the optical sensor is composed of, for example, a camera (RGB camera or infrared camera), and is also used for bird's-eye view sensing from the air (hereinafter referred to as "long-distance sensing (an example of the first sensing)").
  • the state of the ground surface (for example, the state of plants and soil) is captured by imaging the ground surface within the range that can be sensed (for example, the range that fits in the angle of view of the camera) below the UAV1 in the air. It involves observing.
  • the optical sensor may include LiDAR (Light Detection and Ringing or Laser Imaging Detection and Ringing) for creating a map image described later.
  • sensing area The area targeted for long-distance sensing (hereinafter referred to as "sensing area”) is a wide area that needs to be sensed from the sky. In particular, the area where the care (in other words, maintenance) of plants growing from the ground is important should be the sensing area. Examples of the sensing area include a golf course and a ball game field where lawns are grown, and a field where agricultural products and the like are grown.
  • the long-distance sensing is performed once or more, for example, when the UAV1 arrives at the sensing area, or while flying a flight route inside or outside the sensing area.
  • it may be performed continuously in time series, and the time interval of long-distance sensing may be a constant interval or an indefinite interval.
  • the positioning unit 14 includes a radio wave receiver, an altitude sensor, and the like.
  • the positioning unit 14 receives a radio wave transmitted from a satellite of GNSS (Global Navigation Satellite System) by a radio wave receiver, and detects the current position (latitude and longitude) in the horizontal direction of the UAV1 based on the radio wave.
  • the current position of UAV1 is the flight position of UAV1 in flight.
  • the current position in the horizontal direction of the UAV1 may be corrected based on the image captured by the optical sensor or the radio wave transmitted from the radio base station.
  • the position information indicating the current position detected by the positioning unit 14 is output to the control unit 15. Further, the positioning unit 14 may detect the current position (altitude) of the UAV 1 in the vertical direction by an altitude sensor such as a barometric pressure sensor. In this case, the position information includes altitude information indicating the altitude of UAV1.
  • the control unit 15 includes a CPU (Central Processing Unit), a ROM (Read Only Memory), a RAM (Random Access Memory), a non-volatile memory, and the like, which are processors. As shown in FIG. 3, the control unit 15 has a sensing control unit 15a, a sensing data acquisition unit 15b (an example of a first acquisition unit), and a control unit 15 according to a program (program code group) stored in, for example, a ROM or a non-volatile memory. It functions as a flight control unit 15c. The control unit 15 causes the wireless communication unit 12 to sequentially transmit the position information and the flying object ID of the UAV1 to the management server 3 (or the management server 3 via GCS) while the UAV1 is in flight. This flying object ID is identification information that can identify UAV1.
  • This flying object ID is identification information that can identify UAV1.
  • the sensing control unit 15a controls the timing of long-distance sensing performed by the sensor unit 13.
  • the timing of long-distance sensing may be specified in advance in the above program, or may be indicated by a sensing control command from GCS or the management server 3.
  • the sensing data acquisition unit 15b acquires the long-distance sensing data (an example of the first sensing data) obtained by the long-distance sensing.
  • the long-distance sensing data is transmitted to the management server 3 by the wireless communication unit 12, and is used to extract the target area to be sensed by the UGV2.
  • a target area there is a highly probable area where plant or soil abnormalities occur below UAV1.
  • low UAV1 means "in the region that was below UAV1 at the time of long-distance sensing”. This is because there is a possibility that the UAV1 is moving at the time when the target region is extracted, even if it is below the UAV1 during the long-distance sensing by the UAV1.
  • the long-distance sensing data may be raw detection data output from the sensor unit 13, or may be data analyzed and processed based on the output raw detection data.
  • the long-distance sensing data is data constituting at least one map image such as an RGB image of the ground surface, a vegetation degree image, and a thermal image (temperature distribution image).
  • the vegetation degree image is an image in which the presence / absence and abundance of plants such as lawns and agricultural products are color-coded and displayed.
  • the activity (vegetation degree) may be expressed by NDVI (Normalized Difference Vegetation Index).
  • NDVI is a value (index) that indicates the relationship between the health status of plants and the reflectance of each wavelength in the visible to near-infrared region. For example, plants have the property of absorbing radio waves in the visible region while strongly reflecting radio waves in the near-infrared region, so the higher the NDVI, the healthier the condition.
  • Position information is associated with each pixel value (eg, RGB value, activity, or temperature, which is a measured value) in the map image.
  • Such position information (that is, position information in long-distance sensing data) is, for example, position information indicating the current position in the horizontal direction of UAV1 and SLAM (Simultaneous Localization and Mapping) processing (processing for performing map generation and self-position estimation at the same time). ).
  • the flight control unit 15c performs flight control for flying the UAV1 inside and outside the sensing region.
  • the detection data from the sensor unit 13, the position information from the positioning unit 14, the flight control information from the management server 3, and the like are used to control the rotation speed of the rotor, the position, attitude, and position of the UAV1.
  • the direction of travel is controlled.
  • the flight control information includes, for example, a flight command along a flight route.
  • the flight route is predetermined by, for example, the management server 3. With the flight control information, the UAV1 can perform long-distance sensing while flying on the flight route.
  • flying UAV1 includes hovering UAV1.
  • hovering is not limited to making the UAV1 completely stationary in the air, and the UAV1 may move slightly (that is, move horizontally, vertically, or diagonally) (that is, move diagonally).
  • UAV1 should be floating in the air without landing).
  • the flight control unit 15c allows the UAV1 to be remotely controlled or autonomously flown inside and outside the sensing area.
  • the autonomous flight of the UAV1 is not limited to the autonomous flight in which the flight control unit 15c performs flight control, and the autonomous flight of the UAV1 is, for example, flight control is performed by the sensing system S as a whole. It also includes autonomous flight.
  • FIG. 4 is a diagram showing a schematic configuration example of UGV2.
  • the UGV2 includes a drive unit 21, a wireless communication unit 22, a sensor unit 23, a positioning unit 24, a control unit 25, and the like.
  • FIG. 5 is a diagram showing an example of a functional block in the control unit 25.
  • the UGV2 includes a battery that supplies electric power to each part of the UGV2.
  • the drive unit 21 includes a motor, a rotating shaft, and the like.
  • the drive unit 21 rotates a plurality of wheels by a motor, a rotating shaft, or the like driven according to a control signal output from the control unit 25.
  • the wireless communication unit 22 is responsible for controlling the communication performed with the management server 3 via the communication network NW. Further, the wireless communication unit 22 may be provided with a short-range wireless communication function such as Bluetooth (registered trademark).
  • the sensor unit 23 includes various sensors necessary for movement control of the UGV2.
  • Various sensors include, for example, optical sensors.
  • the detection data detected by the sensor unit 23 is output to the control unit 25.
  • the optical sensor is composed of, for example, a camera, and finely senses the entire or a part of the target area extracted based on the long-distance sensing data (hereinafter, referred to as “short-distance sensing (hereinafter referred to as“ short-distance sensing (an example of the second sensing) ”). Also used for.
  • short-distance sensing includes observing the state of the earth's surface (for example, the state of plants and soil) by imaging the earth's surface in the target area within the sensing range.
  • the optical sensor may include LiDAR for creating a map image.
  • FIG. 6 is a diagram showing the relationship between the range of long-distance sensing performed by UAV1 (that is, the range that can be sensed) and the range of short-distance sensing performed by UGV2. As shown in FIG. 6, the range R1 of the long-distance sensing performed in the sensing region (for example, a golf course) A1 is wider than the range R2 of the short-distance sensing performed in the target region A2.
  • the short-distance sensing range R2 is wider than the target region A2 (that is, the target region A2 is included in the short-distance sensing range R2), but the short-distance sensing
  • the range R2 may be narrower than the target area A2 (for example, the entire target area A2 may not fit in the angle of view of the camera).
  • the target area A2 is sensed at a short distance a plurality of times in succession to sense the entire target area A2. For example, at the time of short-distance sensing, the distance between the target region A1 and UAV1 is larger (longer) than the distance between the target region A2 and UGV2.
  • the sensor unit 23 may include a soil sensor.
  • short-distance sensing includes measuring at least one of the water content (moisture content), temperature, salinity, electrical conductivity, and acidity in the ground in the target area. By such short-distance sensing, the condition of plants and soil can be observed precisely.
  • the UGV2 is provided with an arm (for example, a hydraulic arm) for inserting a soil sensor into the ground in the target area. Such an arm is driven by the drive unit 21.
  • Short-distance sensing is performed one or more times, for example, when UGV2 arrives in the vicinity of the target area or within the target area. In order to improve the accuracy of short-distance sensing, it may be performed continuously in a time series, and the time interval of short-distance sensing may be a constant interval or an indefinite interval.
  • ground sensing may be performed by an optical sensor before the UGV2 moves toward the target area. Such sensing is referred to as “ground sensing (an example of a third sensing)".
  • the positioning unit 24 includes a radio wave receiver and the like.
  • the positioning unit 24 receives, for example, a radio wave transmitted from a GNSS satellite by a radio wave receiver, and detects the current position (latitude and longitude) of the UGV2 based on the radio wave.
  • the current position of the UGV2 may be specified by SLAM processing in addition to the radio waves transmitted from the GNSS satellite. Further, the current position of the UGV2 may be corrected based on the image captured by the optical sensor.
  • the position information indicating the current position detected by the positioning unit 24 is output to the control unit 25.
  • the control unit 25 includes a CPU, ROM, RAM, a non-volatile memory, and the like. As shown in FIG. 5, the control unit 25 has a sensing control unit 25a and a sensing data acquisition unit 25b (second acquisition unit and third acquisition unit) according to a program (program code group) stored in, for example, a ROM or a non-volatile memory. (Example)) and functions as a movement control unit 25c.
  • the control unit 25 causes the wireless communication unit 22 to sequentially transmit the position information and the traveling body ID of the UGV2 to the management server 3. This traveling body ID is identification information that can identify the UGV2.
  • the sensing control unit 25a controls the timing of each of the short-distance sensing and the ground sensing performed by the sensor unit 23.
  • the timing of short-distance sensing and ground sensing may be specified in advance in the above program, or may be indicated in a sensing control command from the management server 3.
  • the sensing data acquisition unit 25b acquires the short-distance sensing data (an example of the second sensing data) obtained by the short-distance sensing.
  • the short-distance sensing data is transmitted to the management server 3 by the wireless communication unit 22, and is used, for example, to determine whether or not an abnormality has occurred in the target area extracted based on the long-distance sensing data.
  • the short-distance sensing data may be raw detection data output from the sensor unit 23, or may be data analyzed and processed based on the output raw detection data.
  • the short-range sensing data may be data constituting at least one map image such as an RGB image of the ground surface, a vegetation degree image, and a thermal image in the target area.
  • Position information is associated with each pixel value (for example, corresponding to an RGB value, activity, or temperature) in the map image.
  • Such position information (that is, position information in the short-distance sensing data) is specified by, for example, position information indicating the current position of UGV2 and SLAM processing.
  • the short-distance sensing data includes the underground in the target area. Contains data on at least one of water content, temperature, salt concentration, electrical conductivity, and acidity. It is preferable that the above-mentioned position information is associated with such data.
  • the sensing data acquisition unit 25b may acquire ground sensing data (an example of a third sensing data) obtained by ground sensing.
  • the terrestrial sensing data is transmitted to the management server 3 by the wireless communication unit 22.
  • the movement control unit 25c performs movement control for moving the UGV2 toward the target area.
  • the detection data from the sensor unit 23, the position information from the positioning unit 24, the movement control information from the management server 3, and the like are used to control the rotation speed of the wheels, the position and the traveling direction of the UGV2. Is controlled.
  • the movement control information includes, for example, a movement command for moving the UGV2 toward the target area.
  • the movement control unit 25c can move the UGV2 toward the target area. Then, the UGV2 that has moved according to the movement control can sense the whole or a part of the target area by the sensor unit 23.
  • FIG. 7 is a diagram showing a schematic configuration example of the management server 3.
  • the management server 3 includes a communication unit 31, a storage unit 32, a control unit 33, and the like.
  • FIG. 8 is a diagram showing an example of a functional block in the control unit 33.
  • the communication unit 31 is responsible for controlling the communication performed between the UAV1 and the UGV2 via the communication network NW.
  • the long-distance sensing data transmitted from the UAV1, the position information of the UAV1, and the flying object ID are received by the communication unit 31.
  • the management server 3 can recognize the current position of UAV1 from the position information of UAV1.
  • the short-range sensing data, the ground sensing data, the position information of the UGV2, and the flying object ID transmitted from the UGV2 are received by the communication unit 31.
  • the management server 3 can recognize the current position of the UGV2 based on the position information of the UGV2.
  • the storage unit 32 includes, for example, a hard disk drive or the like.
  • the storage unit 32 is provided with a sensing database (DB) 32a.
  • the position information of the sensing area In the sensing database 32a, the position information of the sensing area, the long-distance sensing data obtained by the long-distance sensing in the sensing area, the flying object ID of the UAV1 that performed the long-distance sensing, and the target area extracted from the sensing area are stored.
  • the position information of the above, the short-distance sensing data obtained by the short-distance sensing in the target area, the traveling body ID of the UGV2 that performed the short-distance sensing, and the like are stored in association with each target area.
  • the position information of the sensing region may indicate the latitude and longitude of the outer edge of the sensing region.
  • the position information of the target area may indicate the latitude and longitude of the outer edge of the target area.
  • the location information in the sensing area may be associated with authentication information (ID and password) of an administrator or the like related to the sensing area and an e-mail address and stored in the storage unit 32.
  • the control unit 33 includes a CPU, ROM, RAM, a non-volatile memory, and the like, which are processors.
  • the control unit 33 for example, according to a program (program code group) stored in the ROM or the non-volatile memory, as shown in FIG. 8, the sensing data acquisition unit 33a (first acquisition unit, second acquisition unit, and third acquisition unit). Unit), target area extraction unit 33b (example of extraction unit), machine control unit 33c, abnormality determination unit 33d (example of determination unit), information provision unit 33e (example of display control unit, transmission unit), etc. Functions as.
  • the sensing data acquisition unit 33a acquires the long-distance sensing data transmitted from the UAV 1 via the communication unit 31. Further, the sensing data acquisition unit 33a acquires the short-distance sensing data transmitted from the UGV2 via the communication unit 31. Further, the sensing data acquisition unit 33a acquires the ground sensing data transmitted from the UGV2 via the communication unit 31.
  • the target area extraction unit 33b extracts the target area sensed by the UGV2 based on the long-distance sensing data acquired by the sensing data acquisition unit 33a. For example, the target region extraction unit 33b extracts a region (abnormality candidate region) in which an abnormality has occurred in a region below UAV1 as a target region based on the long-distance sensing data. Such a target area may be extracted based on the activity in the vegetation degree image included in the long-distance sensing data. This makes it possible to quickly find areas with a high probability of plant abnormalities. For example, in the vegetation degree image, a region having an activity of less than or equal to a threshold value is extracted as a target region.
  • the target area may be extracted based on the RGB values in the RGB image included in the long-distance sensing data. For example, in an RGB image, a region in which the difference from a predetermined appropriate plant color (RGB value) is equal to or greater than a threshold value is extracted as a target region.
  • the target area may be extracted based on the temperature in the thermal image included in the long-distance sensing data. For example, in a thermal image, a region having a difference from a predetermined appropriate temperature of a threshold value or more is extracted as a target region.
  • the target region may be extracted based on any two or more measured values of the activity in the vegetation degree image, the RGB value in the RGB image, and the temperature in the thermal image.
  • the aircraft control unit 33c can perform flight control for flying the UAV1 inside and outside the sensing region. For example, the aircraft control unit 33c controls the flight of the UAV1 by transmitting flight control information to the UAV1 by the communication unit 31. Further, the airframe control unit 33c can perform movement control for moving the UGV2 toward the target area from which the target area has been extracted by the target area extraction unit 33b. For example, the aircraft control unit 33c controls the movement of the UGV2 by transmitting the movement control information to the UGV2 by the communication unit 31.
  • the movement control of the UGV2 may be performed based on the position information of the UAV1 and the long-distance sensing data (for example, an RGB image) from the UAV1.
  • the aircraft control unit 33c has a range of long-distance sensing performed by the UAV1 based on the position information of the UAV1 (for example, the UAV1) before moving the UGV2 toward the target area extracted by the target area extraction unit 33b.
  • the long-distance sensing data obtained by the UAV1 performing the long-distance sensing and the ground sensing data obtained by the UGV2 performing the ground sensing are acquired by the sensing data acquisition unit 33a.
  • the aircraft control unit 33c performs movement control for moving the UGV2 toward the target area based on the long-distance sensing data and the ground sensing data acquired at this time. For example, the airframe control unit 33c performs movement control for moving the UGV2 toward the target area detected from the ground sensing data by matching the long-distance sensing data and the ground sensing data. As a result, UGV2 can be guided to the target region more accurately.
  • the matching between the long-distance sensing data and the ground-based sensing data is, for example, a feature point (for example, matching) corresponding to each of several feature points in a map image (for example, an RGB image) included in the long-distance sensing data.
  • the feature point with the highest degree) is extracted from the map image included in the ground sensing data.
  • the UAV1 can be made easier to match by performing long-distance sensing (for example, imaging) by pointing the camera at the target area from the side where the UGV2 will be viewed by the camera.
  • the aircraft control unit 33c may control the UAV1 to interrupt the movement (for example, the movement along the flight route) and shift to the hovering state.
  • the target area extraction unit 33b causes the UAV1 to hover over the target area.
  • the aircraft control unit 33c moves the UGV2 within the range of long-distance sensing performed by the UAV1 in the hovering state (for example, the shooting range of the camera of the UAV1).
  • the UGV2 may be moved to the vicinity directly below the UAV1.
  • the aircraft control unit 33c performs movement control for moving the UGV2 toward the target area based on the long-distance sensing data. For example, the aircraft control unit 33c continuously acquires the positional relationship between the UGV2 and the target area from the long-distance sensing data (for example, an RGB image) received from the UAV1 a plurality of times in succession, and directs the UGV2 toward the target area. Move it. As a result, UGV2 can be guided to the target region more accurately.
  • the long-distance sensing data for example, an RGB image
  • the aircraft control unit 33c receives data on the entire target area (for example, the entire target area).
  • the UGV2 may be controlled to continuously sense the target region a plurality of times in a row while moving the UGV2 so that the included map image) is included in the short-distance sensing data.
  • short-distance sensing data for example, a plurality of still images or moving images
  • control unit 33 may make a determination as to whether or not the entire target area fits in the angle of view of the camera, or the UGV2 may make a determination.
  • the aircraft control unit 33c determines the travel route so that the data for the entire target area is included in the short-distance sensing data, and the movement command along the determined travel route. And the movement control information including the execution command of the short-distance sensing is transmitted to the UGV2 by the communication unit 31.
  • the UGV2 autonomously moves so that the data about the entire target area is included in the short-distance sensing data without receiving the above command from the aircraft control unit 33c.
  • the target area may be continuously sensed a plurality of times.
  • the abnormality determination unit 33d determines whether or not an abnormality has occurred in the target area extracted by the target area extraction unit 33b based on the short-distance sensing data acquired by the sensing data acquisition unit 33a. That is, it is deterministically determined whether or not an abnormality has occurred in the target area extracted by the target area extraction unit 33b. For example, based on the short-distance sensing data, a more accurate abnormality determination may be performed to determine whether or not an abnormality has occurred in the target region.
  • the abnormality determination unit 33d inputs the short-distance sensing data obtained by short-distance sensing by UGV2 into the trained model to determine whether or not an abnormality has occurred in the short-distance sensed target area. Is obtained as an output. As a result, the abnormality determination unit 33d can determine whether or not an abnormality has occurred in the target area. It should be noted that it may be determined whether or not an abnormality has occurred in the target area by an analysis algorithm other than machine learning.
  • the information providing unit 33e logs in the short-range sensing data acquired by the sensing data acquisition unit 33a through the administrator terminal of either the plant or soil administrator using the authentication information of the administrator. , Is transmitted to the administrator terminal via the communication unit 31.
  • This allows the manager to check the short-range sensing data and investigate in more detail whether the plant (eg, lawn or crop, etc.) has a disease.
  • the manager can instruct appropriate measures such as spraying chemicals, spraying fertilizers, spraying water, spraying sand, or mowing lawns according to the findings.
  • the sensing area is a golf course
  • the manager is, for example, a lawn manager.
  • the manager is, for example, a manager (producer) of an agricultural product or the like.
  • the short-distance sensing data including a plurality of still images or moving images obtained by the UGV2 continuously performing short-distance sensing on the target region a plurality of times is transmitted to the administrator terminal.
  • the information providing unit 33e may display the information about the target area extracted by the target area extraction unit 33b by transmitting the information about the target area extracted by the target area extraction unit 33b to the display terminal based on the short-distance sensing data acquired by the sensing data acquisition unit 33a. good. This makes it possible for the administrator to visually grasp the information regarding the extracted target area.
  • the display terminal may be an administrator terminal or a terminal used by a user or a worker in the sensing area.
  • the information regarding the target area may be, for example, a map image (for example, an RGB image, a vegetation degree image, or a thermal image) in the target area. On such a map image, a map area (for example, a name of a golf course), a name of a target area, position information, and the like may be superimposed and displayed.
  • the management server 3 manages the flying object ID of the UAV1 used for the long-distance sensing and the traveling object ID of the UGV2 used for the short-distance sensing in association with each other. Then, the UAV 1 sequentially transmits its own position information and the vehicle ID to the management server 3 during flight, and the UGV2 sequentially transmits its own position information and the vehicle ID to the management server 3 during the flight.
  • FIG. 9 is a sequence diagram showing an example of processing executed between UAV1, UGV2, and the management server 3 in the first embodiment.
  • the management server 3 transmits flight control information including a flight command along the flight route to the sensing region to the UAV1 via the communication network NW (step S1).
  • the UAV 1 acquires (receives) the flight control information from the management server 3, it starts flying along the flight route to the sensing area (step S2).
  • the sensor unit 13 is activated to start long-distance sensing, and the long-distance sensing data obtained by long-distance sensing below the UAV1 is acquired.
  • the long-distance sensing may be performed while the UAV1 is moving or may be performed while hovering.
  • the UAV1 transmits the long-distance sensing data acquired in step S4 and the flying object ID of the UAV1 to the management server 3 via the communication network NW (step S5).
  • the management server 3 acquires the long-distance sensing data and the flying object ID from the UAV 1, the management server 3 extracts the target area sensed by the UGV2 based on the long-distance sensing data (step S6).
  • the UGV2 is specified, for example, based on the traveling body ID associated with the flying body ID acquired from the management server 3 together with the long-distance sensing data.
  • the management server 3 transmits the movement control information including the movement instruction to move to the target area extracted in step S6 to the UGV2 via the communication network NW (step S7).
  • the movement control information includes the position information of the extracted target area.
  • step S8 when the UGV2 acquires the movement control information from the management server 3, it starts moving toward the target area (step S8).
  • step S9 when the UGV2 arrives in the vicinity of the target area or within the target area (step S9), the sensor unit 23 is activated to start short-distance sensing, and the UGV2 is obtained by short-distance sensing of the whole or a part of the target area.
  • the short-distance sensing data is acquired (step S10).
  • the UGV2 transmits the short-distance sensing data acquired in step S10 and the vehicle ID of the UGV2 to the management server 3 via the communication network NW (step S11).
  • Step S12 when the management server 3 acquires the short-distance sensing data and the traveling body ID from the UGV2, it determines whether or not an abnormality has occurred in the target area extracted in step S6 based on the short-distance sensing data. (Step S12). When it is determined that no abnormality has occurred in the target area (step S12: NO), the process ends.
  • a URL for accessing information about the target area extracted in step S6 (for example, a map image in the target area).
  • An e-mail describing (Resource Locator) is sent to the e-mail address of the administrator related to the sensing area (step S13).
  • the e-mail transmitted in this way is received and displayed by the administrator terminal of the administrator.
  • the information about the target area is displayed by the administrator terminal.
  • FIG. 10 is a sequence diagram showing an example of processing executed between UAV1, UGV2, and the management server 3 in the second embodiment.
  • the processing of steps S21 to S26 shown in FIG. 10 is the same as the processing of steps S1 to S6 shown in FIG.
  • step S27 the management server 3 determines a point where the UGV2 enters within the range of the long-distance sensing performed by the UAV1 (for example, the shooting range of the camera of the UAV1) based on the position information of the UAV1 and the position information of the UGV2. do.
  • the management server 3 transmits the movement control information including the movement command to move to the point determined in step S27 to the UGV2 via the communication network NW (step S28).
  • the movement control information includes the position information of the determined point.
  • step S29 when the UGV2 acquires the movement control information from the management server 3, it starts moving toward the above point (step S29).
  • step S30 when the UGV2 arrives at the point indicated by the movement control information (step S30), the sensor unit 23 is activated to start ground sensing, and the ground sensing data obtained by ground sensing is acquired (step). S31).
  • step S32 the UGV2 transmits the ground sensing data acquired in step S31 and the vehicle ID of the UGV2 to the management server 3 via the communication network NW (step S32).
  • the management server 3 acquires the ground sensing data and the traveling body ID, it matches the long-distance sensing data and the ground sensing data, and detects the target area extracted in step S26 from the ground sensing data (step S33). .. Next, the management server 3 transmits the movement control information including the movement instruction to move to the target area detected in step S33 to the UGV2 via the communication network NW (step S34).
  • the processing of steps S35 to S40 shown in FIG. 10 is the same as the processing of steps S8 to S13 shown in FIG.
  • Example 3 is an example in which the UGV2 moves toward the target area based on the result of matching between the long-distance sensing data and the ground sensing data performed by the UGV2.
  • FIG. 11 is a sequence diagram showing an example of processing executed between UAV1, UGV2, and the management server 3 in the third embodiment.
  • the processing of steps S51 to S57 shown in FIG. 11 is the same as the processing of steps S21 to S27 shown in FIG.
  • the management server 3 includes movement control information including long-distance sensing data indicating the target area extracted in step S56 and a movement command for moving to the target area via the point determined in step S57. Is transmitted to UGV2 via the communication network NW.
  • the movement control information includes the position information of the determined point.
  • step S59 when the UGV2 acquires the long-distance sensing data and the movement control information from the management server 3, it starts moving toward the above point (step S59).
  • step S60 when the UGV2 arrives at the point indicated by the movement control information (step S60), the sensor unit 23 is activated to start ground sensing, and the ground sensing data obtained by ground sensing is acquired (step). S61).
  • the UGV2 matches the long-distance sensing data acquired from the management server 3 with the ground-based sensing data acquired in step S61, and detects the target area shown in the long-distance sensing data from the ground-based sensing data ( Step S62).
  • step S62 the UGV2 starts moving toward the target region detected from the ground sensing data while performing ground sensing (step S63).
  • the processing of steps S64 to S68 shown in FIG. 11 is the same as the processing of steps S36 to S40 shown in FIG.
  • FIG. 12 is a sequence diagram showing an example of processing executed between UAV1, UGV2, and the management server 3 in the fourth embodiment.
  • the processing of steps S71 to S76 shown in FIG. 12 is the same as the processing of steps S1 to S6 shown in FIG.
  • the management server 3 transmits flight control information including a flight command to fly to the target area extracted in step S76 to UAV1 via the communication network NW.
  • the UAV 1 acquires the flight control information from the management server 3, the UAV 1 starts flying toward the target area (step S78). Then, when the UAV1 arrives in the sky above the target area (step S79), the UAV1 interrupts the movement in the sky above the target area and shifts to the hovering state (step S80). Next, the UAV 1 transmits the long-distance sensing data and the flying object ID obtained by the long-distance sensing to the management server 3 via the communication network NW (step S81). The long-distance sensing data is continuously and repeatedly transmitted to the management server 3.
  • the management server 3 acquires the long-distance sensing data and the flying object ID from the UAV1, the range of the long-distance sensing performed by the UAV1 based on the position information of the UAV1 in the hovering state and the position information of the UGV2 ( For example, a point where the UGV2 enters within the shooting range of the camera of the UAV1) is determined (step S82).
  • the management server 3 transmits the movement control information including the movement command to move to the point determined in step S82 to the UGV2 via the communication network NW (step S83).
  • step S84 when the UGV2 acquires the movement control information from the management server 3, it starts moving toward the above point (step S84). While the UGV2 is moving toward the point, the long-distance sensing data from the UAV1 is continuously and repeatedly received by the management server 3.
  • the management server 3 detects the UGV2 from the long-distance sensing data continuously received from the UAV1 by entering the range of the long-distance sensing performed by the UAV1, the management server 3 detects the UGV2 based on the long-distance sensing data.
  • the positional relationship between the target area and the target area is specified (acquired) (step S85). Such a positional relationship indicates, for example, the direction of the target region with respect to UGV2 and the distance between UGV2 and the region distance.
  • the management server 3 transmits the movement control information including the movement instruction to move to the target area extracted in step S76 to the UGV2 via the communication network NW (step S86).
  • the movement control information includes information indicating the above-mentioned positional relationship that changes from moment to moment, and may be continuously and repeatedly transmitted to the UGV2 until the UGV2 arrives at the target area.
  • step S87 when the UGV2 acquires the movement control information from the management server 3, it starts moving toward the target area based on the positional relationship between the UGV2 and the target area (step S87). That is, the UGV2 moves in the direction indicated by the positional relationship by the distance indicated by the positional relationship.
  • the UGV 2 may move toward the target area according to the above-mentioned positional relationship that changes from moment to moment in the movement control information that is repeatedly received from the management server 3 until it arrives at the target area.
  • the processing of steps S88 to S92 shown in FIG. 12 is the same as the processing of steps S9 to S13 shown in FIG.
  • Example 5 is an example in which UGV2 moves toward the target area based on the positional relationship between the target area and UGV2 specified by UAV1.
  • FIG. 13 is a sequence diagram showing an example of processing executed between UAV1, UGV2, and the management server 3 in the fifth embodiment. The processing of steps S101 to S114 shown in FIG. 13 is the same as the processing of steps S71 to S84 shown in FIG.
  • the UAV1 When the UGV1 detects the UGV2 from the long-distance sensing data when the UGV2 enters the range of the long-distance sensing, the UAV1 specifies the positional relationship between the UGV2 and the target region based on the long-distance sensing data (step S115). Next, the UAV1 transmits the movement control information including the movement command to move to the target area shown in the flight control information acquired in step S107 to the UGV2 by the short-range wireless communication function (step S116).
  • the movement control information includes information indicating the above-mentioned positional relationship that changes from moment to moment, and may be continuously and repeatedly transmitted to the UGV2 until the UGV2 arrives at the target area.
  • the UGV2 acquires the movement control information from the UAV1, it starts moving toward the target area based on the positional relationship between the UGV2 and the target area (step S117).
  • the UGV2 may move toward the target area according to the above-mentioned positional relationship that changes from moment to moment in the movement control information repeatedly received from the UAV1 before arriving at the target area.
  • the processing of steps S118 to S122 shown in FIG. 13 is the same as the processing of steps S88 to S92 shown in FIG.
  • the sensing system S is a target area to be sensed at a short distance by the UGV2 based on the long-distance sensing data obtained by the UAV1 in the air performing the long-distance sensing below. Is extracted, movement control is performed to move the UGV2 toward the target area, and the UGV2 moved according to the movement control performs short-distance sensing data obtained by short-distance sensing of the whole or a part of the target area. Is configured to acquire suitable sensing data that takes into account the advantages of both bird's-eye view long-distance sensing and fine short-distance sensing in order to quickly discover and investigate the target area. be able to.
  • the present embodiment it is possible to quickly discover a target region in which an abnormality is likely to occur below UAV1 by a bird's-eye view of long-distance sensing by UAV1, and then a fine proximity by UGV2.
  • the target area can be investigated in detail by distance sensing. Therefore, since it is not necessary for the UAV1 to sense downward while flying at low altitude, it is possible to prevent the UAV1 from becoming unstable due to the ground effect. Further, since it is not necessary to sense the surroundings when the UAV1 is landing, it is possible to prevent the UAV1 from becoming unstable and to suppress the consumption of energy (battery and fuel) for the takeoff and landing of the UAV1.
  • the UAV1 does not have to be sensed from the sky using a high-magnification sensor, it is possible to avoid an adverse effect on the sensing due to the vibration of the UAV1 or the like. Further, according to the present embodiment, it is determined quickly and highly accurately whether an abnormality has occurred in the target area by using the sensing data in which the advantages of both the bird's-eye view sensing and the delicate sensing are taken into consideration. be able to.
  • the above embodiment is an embodiment of the present invention, and the present invention is not limited to the above embodiment, and various configurations and the like are changed from the above embodiment without departing from the gist of the present invention. Also, it is included in the technical scope of the present invention.
  • the management of the lawn in the golf course and the management of agricultural products in the field are assumed, but the present invention is to find a place where an abnormality has occurred from a wide range other than these managements. It is suitably applicable.
  • the present invention can also be applied to road management and the like.
  • a region having a high probability of cracking on the road or a region having a high probability of having an inclination or unevenness equal to or higher than the threshold value is extracted as the target region.
  • a manned aircraft has been described as an example of a manned aircraft, but the flying object can also be applied to a manned aircraft that can fly without the presence of a pilot. Is.
  • the sensing data acquisition unit 33a, the target area extraction unit 33b, the machine control unit 33c, the abnormality determination unit 33d, and the information provision unit 33e are provided in the control unit 33 of the management server 3.
  • all or part of these components may be provided in the control unit 15 of the UAV1 or the control unit 25 of the UGV2.
  • the control unit 15 of the UAV1 extracts a target area to be sensed at a short distance based on the long-distance sensing data, and transmits the above-mentioned movement control information to the UGV2 by the short-range wireless communication function, whereby the target area is concerned. You may perform movement control for moving UGV2 toward.
  • control unit 15 of the UAV 1 may acquire short-distance sensing data from the UGV 2 or the management server 3 and determine whether or not an abnormality has occurred in the target region based on the short-distance sensing data. Further, the control unit 15 of the UAV 1 may transmit the short-distance sensing data to the administrator terminal, or may display the information regarding the target area on the display terminal based on the short-distance sensing data. Alternatively, the control unit 25 of the UGV2 acquires the long-distance sensing data from the UAV 1 or the management server 3, extracts the target area to be short-distance sensed based on the long-distance sensing data, and directs the UGV2 toward the target area. You may perform movement control for moving.
  • control unit 25 of the UGV2 may determine whether or not an abnormality has occurred in the target region based on the short-distance sensing data. Further, the control unit 25 of the UGV2 may transmit the short-distance sensing data to the administrator terminal, or may display the information regarding the target area on the display terminal based on the short-distance sensing data.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Quality & Reliability (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Soil Sciences (AREA)
  • Water Supply & Treatment (AREA)
  • Environmental Sciences (AREA)
  • Medical Informatics (AREA)
  • General Engineering & Computer Science (AREA)
  • Electromagnetism (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Selective Calling Equipment (AREA)
  • Communication Control (AREA)

Abstract

センシングシステムＳは、空中のＵＡＶ１が下方を遠距離センシングすることにより得られた遠距離センシングデータに基づいてＵＧＶ２により近距離センシングされるべき対象領域を抽出し、当該抽出された対象領域に向けてＵＧＶ２を移動させるための移動制御を行う。そして、センシングシステムＳは、移動制御にしたがって移動したＵＧＶ２が対象領域の全体または一部分を近距離センシングすることにより得られた近距離センシングデータを取得する。

Description

センシングシステム、センシングデータ取得方法、及び制御装置
　飛行体が上空から地上をセンシングすることにより得られるセンシングデータを取得するシステム等の技術分野に関する。
　近年、飛行体を用いて上空から撮影等のセンシングを行うことが一般化しつつある。例えば、特許文献１には、産業用無人ヘリコプタに搭載されたビデオカメラから圃場全体を撮影して画像と自然光の反射率を示すデータを取得することが記載されている。
特開２０１１－２５４７１１号公報
　上述したように飛行体を用いることで、比較的広い範囲を俯瞰的にセンシングすることが可能である。しかし、比較的狭い範囲が精微にセンシングされる場合、飛行体を用いるセンシングが好適であるとは言い難い。例えば、飛行体ができるだけ地面に近い位置からセンシングするために低空飛行を行うと、地面効果が発生して飛行体が不安定になる可能性がある。また、飛行体が着陸した状態でセンシングすることも可能ではあるが、この場合、飛行体の安定性の観点に加えて、エネルギー消費の観点からも好ましくない。また、飛行体が上空から高倍率のセンサを用いてセンシングする場合、滞空時のわずかな振動でも、倍率に応じた影響を与えてしまうため精微なセンシングは難しい。
　そこで、俯瞰的なセンシングと精微なセンシングとの双方の利点が考慮された好適なセンシングデータを取得することが可能なセンシングシステム、センシングデータ取得方法、及び制御装置を提供する。
　上記課題を解決するために、請求項１に記載の発明は、空中の飛行体が下方をセンシングすることにより得られた第１のセンシングデータを取得する第１取得部と、前記第１のセンシングデータに基づいて、地上を走行可能な走行体によりセンシングされる対象領域を抽出する抽出部と、前記対象領域に向けて前記走行体を移動させるための移動制御を行う制御部と、前記移動制御にしたがって移動した前記走行体が前記対象領域の全体または一部分をセンシングすることにより得られた第２のセンシングデータを取得する第２取得部と、を備えることを特徴とする。これにより、対象領域を迅速に発見して調査するために、俯瞰的なセンシングと精微なセンシングとの双方の利点が考慮された好適なセンシングデータを取得することができる。
　請求項２に記載の発明は、請求項１に記載のセンシングシステムにおいて、前記第２のセンシングデータに基づいて、前記対象領域に関する情報を表示端末に表示させる表示制御部をさらに備えることを特徴とする。これにより、抽出された対象領域に関する情報を管理者に視覚的に把握させることができる。
　請求項３に記載の発明は、請求項１または２に記載のセンシングシステムにおいて、前記抽出部は、前記第１のセンシングデータに基づいて、前記下方において異常が発生している蓋然性の高い領域を前記対象領域として抽出することを特徴とする。これにより、異常が発生している蓋然性の高い領域を迅速に発見して調査するために、俯瞰的なセンシングと精微なセンシングとの双方の利点が考慮された好適なセンシングデータを取得することができる。
　請求項４に記載の発明は、請求項１乃至３の何れか一項に記載のセンシングシステムにおいて、前記第１のセンシングデータは、植生活性度画像を含み、前記抽出部は、前記植生活性度画像における活性度に基づいて、前記対象領域を抽出することを特徴とする。これにより、植物の異常が発生している蓋然性の高い領域を迅速に発見して調査するために、俯瞰的なセンシングと精微なセンシングとの双方の利点が考慮された好適なセンシングデータを取得することができる。
　請求項５に記載の発明は、請求項１乃至４の何れか一項に記載のセンシングシステムにおいて、前記第２のセンシングデータは、前記対象領域における地中の水分量、温度、塩分濃度、電気伝導度、及び酸性度のうち少なくとも何れか１つに関するデータを含むことを特徴とする。これにより、植物や土壌の状態を、より精微に観測することができる。
　請求項６に記載の発明は、請求項１乃至５の何れか一項に記載のセンシングシステムにおいて、前記第２のセンシングデータは、前記対象領域における地中に挿入されたセンサを用いて取得される。これにより、植物や土壌の状態を、より精微に観測することができる。
　請求項７に記載の発明は、請求項１乃至６の何れか一項に記載のセンシングシステムにおいて、前記第２のセンシングデータに基づいて、前記対象領域に異常が発生しているか否か判定する判定部をさらに備えることを特徴とする。これにより、俯瞰的なセンシングと精微なセンシングとの双方の利点が考慮されたセンシングデータを利用して、対象領域に異常が発生しているかを迅速且つ高精度に判定することができる。
　請求項８に記載の発明は、請求項３または７に記載のセンシングシステムにおいて、前記異常は、植物、土壌、及び道路のうちいずれかの異常であることを特徴とする。
　請求項９に記載の発明は、請求項８に記載のセンシングシステムにおいて、前記第２のセンシングデータを、前記植物、前記土壌、及び前記道路のうちいずれかの管理者が有する端末へ送信する送信部をさらに備えることを特徴とする。これにより、管理者は第２のセンシングデータを確認し、植物、土壌、または道路に異常が発生しているかどうかをより詳しく調査することができる。
　請求項１０に記載の発明は、請求項１乃至９の何れか一項に記載のセンシングシステムにおいて、前記制御部は、前記対象領域の全体についてのデータが前記第２のセンシングデータに含まれるように、前記走行体を移動させながら、当該走行体に前記対象領域を連続して複数回センシングさせることを特徴とする。これにより、対象領域の全体が例えばカメラの画角に収まらない場合であっても、対象領域の全体について第２のセンシングデータを得ることができる。
　請求項１１に記載の発明は、請求項１乃至１０の何れか一項に記載のセンシングシステムにおいて、前記対象領域に向けて前記走行体を移動させる前に、前記走行体が地上をセンシングすることにより得られた第３のセンシングデータを取得する第３取得部をさらに備え、前記制御部は、前記第１のセンシングデータと前記第３のセンシングデータとに基づいて、前記対象領域に向けて前記走行体を移動させるための移動制御を行うことを特徴とする。これにより、走行体を正確に対象領域に誘導することができる。
　請求項１２に記載の発明は、請求項１１に記載のセンシングシステムにおいて、前記制御部は、前記第１のセンシングデータと前記第３のセンシングデータとをマッチングすることにより前記第３のセンシングデータから検出された前記対象領域に向けて前記走行体を移動させるための移動制御を行うことを特徴とする。これにより、走行体をより正確に対象領域に誘導することができる。
　請求項１３に記載の発明は、請求項１乃至１２の何れか一項に記載のセンシングシステムにおいて、前記抽出部により前記対象領域が抽出された場合、前記制御部は、ホバリング状態にある前記飛行体により行われる前記センシングの範囲内に前記走行体を移動させた後に、前記第１のセンシングデータに基づいて、前記対象領域に向けて前記走行体を移動させるための移動制御を行うことを特徴とする。これにより、走行体を正確に対象領域に誘導することができる。
　請求項１４に記載の発明は、請求項１３に記載のセンシングシステムにおいて、前記飛行体は予め定められた飛行ルートを移動しながら前記センシングを行うものであり、前記抽出部により前記対象領域が抽出された場合、前記制御部は、前記ルートに沿った移動を前記飛行体に中断させて前記ホバリング状態に移行させることを特徴とする。これにより、走行体をより正確に対象領域に誘導することができる。
　請求項１５に記載の発明は、請求項１乃至１３の何れか一項に記載のセンシングシステムにおいて、前記対象領域と前記飛行体との間の距離は、前記対象領域と前記走行体との間の距離より大きいことを特徴とする。
　請求項１６に記載の発明は、請求項１乃至１５の何れか一項に記載のセンシングシステムにおいて、前記飛行体により行われる前記センシングの範囲は、前記走行体により行われる前記センシングの範囲より広いことを特徴とする。
　請求項１７に記載の発明は、空中の飛行体が下方をセンシングすることにより得られた第１のセンシングデータを取得するステップと、前記第１のセンシングデータに基づいて、地上を走行可能な走行体によりセンシングされる対象領域を抽出するステップと、前記対象領域に向けて前記走行体を移動させるための移動制御を行う制御部と、前記移動制御にしたがって移動した前記走行体が前記対象領域の全体または一部分をセンシングすることにより得られた第２のセンシングデータを取得するステップと、を含むことを特徴とする。
　請求項１８に記載の発明は、空中の飛行体が下方をセンシングすることにより得られた第１のセンシングデータを取得する第１取得部と、前記第１のセンシングデータに基づいて、地上を走行可能な走行体によりセンシングされる対象領域を抽出する抽出部と、前記対象領域に向けて前記走行体を移動させるための移動制御を行う制御部と、前記移動制御にしたがって移動した前記走行体が前記対象領域の全体または一部分をセンシングすることにより得られた第２のセンシングデータを取得する第２取得部と、を備えることを特徴とする。
　本発明の一実施形態によれば、俯瞰的なセンシングと精微なセンシングとの双方の利点が考慮された好適なセンシングデータを取得することができる。
センシングシステムＳの概要構成例を示す図である。 ＵＡＶ１の概要構成例を示す図である。 制御部１５における機能ブロック例を示す図である。 ＵＧＶ２の概要構成例を示す図である。 制御部２５における機能ブロック例を示す図である。 ＵＡＶ１により行われる遠距離センシングの範囲と、ＵＧＶ２により行われる近距離センシングの範囲との関係を示す図である。 管理サーバ３の概要構成例を示す図である。 制御部３３における機能ブロック例を示す図である。 実施例１においてＵＡＶ１、ＵＧＶ２、及び管理サーバ３の間で実行される処理の一例を示すシーケンス図である。 実施例２においてＵＡＶ１、ＵＧＶ２、及び管理サーバ３の間で実行される処理の一例を示すシーケンス図である。 実施例３においてＵＡＶ１、ＵＧＶ２、及び管理サーバ３の間で実行される処理の一例を示すシーケンス図である。 実施例４においてＵＡＶ１、ＵＧＶ２、及び管理サーバ３の間で実行される処理の一例を示すシーケンス図である。 実施例５においてＵＡＶ１、ＵＧＶ２、及び管理サーバ３の間で実行される処理の一例を示すシーケンス図である。
　以下、図面を参照して本発明の一実施形態について説明する。
［１．センシングシステムＳの構成］
　先ず、図１を参照して、本発明の一実施形態に係るセンシングシステムＳの構成について説明する。図１は、センシングシステムＳの概要構成例を示す図である。図１に示すように、センシングシステムＳは、無人航空機（以下、「ＵＡＶ（Unmanned Aerial Vehicle）」と称する）１、無人地上機（以下、ＵＧＶ（Unmanned Ground Vehicle）と称する）２、及び管理サーバ３を含んで構成される。ＵＡＶ１及びＵＧＶ２は、それぞれ、管理サーバ３との間で通信ネットワークＮＷを介して互いに通信可能になっている。通信ネットワークＮＷは、例えば、インターネット、移動体通信ネットワーク及びその無線基地局等から構成される。
　なお、ＵＡＶ１は、飛行体の一例であり、ドローン、またはマルチコプタとも呼ばれる。ＵＡＶ１は、地上からオペレータによる遠隔操縦に従って飛行、または自律的に飛行することが可能になっている。また、ＵＡＶ１は、GCS（Ground Control Station）により管理される。GCSは、例えば、アプリケーションとしてオペレータにより操作される操縦端末に搭載されてもよいし、管理サーバ３などのサーバにより構成されてもよい。
　一方、ＵＧＶ２は、無人で地上を自律的に走行可能な走行体の一例である。ここで、走行とは地面（植物上や障害物上を含んでもよい）を移動することをいい、飛行とは区別される。また、移動とは時系列で現在位置が変化することをいう。ＵＧＶ２は、複数の車輪を有する車両であってもよいし、車輪を有しないロボット（例えば、２足歩行ロボット）等であってもよい。
［１－１．ＵＡＶ１の構成及び機能］
　次に、図２及び図３を参照して、ＵＡＶ１の構成及び機能について説明する。図２は、ＵＡＶ１の概要構成例を示す図である。図２に示すように、ＵＡＶ１は、駆動部１１、無線通信部１２、センサ部１３、測位部１４、及び制御部１５等を備える。図３は、制御部１５における機能ブロック例を示す図である。なお、図示しないが、ＵＡＶ１は、水平回転翼であるロータ（プロペラ）、及びＵＡＶ１の各部へ電力を供給するバッテリを備える。
　駆動部１１は、モータ及び回転軸等を備える。駆動部１１は、制御部１５から出力された制御信号に従って駆動するモータ及び回転軸等により複数のロータを回転させる。無線通信部１２は、通信ネットワークＮＷを介して管理サーバ３との間で行われる通信の制御を担う。また、無線通信部１２は、Bluetooth（登録商標）等の近距離無線通信機能を備えてもよい。
　センサ部１３は、ＵＡＶ１の飛行制御のために必要な各種センサを備える。各種センサには、例えば、光学センサ、３軸角速度センサ、３軸加速度センサ、及び地磁気センサ等が含まれる。センサ部１３により検出された検出データは、制御部１５へ出力される。光学センサは、例えばカメラ（RGBカメラや赤外線カメラ）により構成され、空中から下方を俯瞰的にセンシング（以下、「遠距離センシング（第１のセンシングの一例）」という）するためにも用いられる。
　ここで、遠距離センシングには、空中のＵＡＶ１の下方においてセンシング可能な範囲（例えばカメラの画角に収まる範囲）内の地表を撮像することにより地表の状態（例えば、植物や土壌の状態）を観測することが含まれる。なお、光学センサには、後述するマップ画像の作成のために、LiDAR（Light Detection and Ranging、あるいはLaser Imaging Detection and Ranging）が含まれるとよい。
　遠距離センシングの対象となる領域（以下、「センシング領域」という）は、上空からセンシングすることが必要な広い領域である。特に、地面から生えている植物の手入れ（換言すると、維持管理）が重要となる領域をセンシング領域とするとよい。センシング領域の例として、芝生が育成されるゴルフ場や球技場、或いは、農作物等が育成される圃場などが挙げられる。
　遠距離センシングは、例えばＵＡＶ１がセンシング領域に到着したとき、または、センシング領域内外における飛行ルートを飛行しながら１回以上行われる。遠距離センシングの精度を高めるためには、時系列で連続的に行われるとよく、遠距離センシングの時間間隔は、一定間隔であってもよいし、不定間隔であってもよい。
　測位部１４は、電波受信機及び高度センサ等を備える。測位部１４は、例えば、GNSS（Global Navigation Satellite System）の衛星から発信された電波を電波受信機により受信し、当該電波に基づいてＵＡＶ１の水平方向の現在位置（緯度及び経度）を検出する。ＵＡＶ１の現在位置は、飛行中のＵＡＶ１の飛行位置である。
　なお、ＵＡＶ１の水平方向の現在位置は、光学センサにより撮像された画像や上記無線基地局から発信された電波に基づいて補正されてもよい。測位部１４により検出された現在位置を示す位置情報は、制御部１５へ出力される。さらに、測位部１４は、気圧センサ等の高度センサによりＵＡＶ１の垂直方向の現在位置（高度）を検出してもよい。この場合、位置情報には、ＵＡＶ１の高度を示す高度情報が含まれる。
　制御部１５は、プロセッサであるCPU（Central Processing Unit）、ROM（Read Only Memory）、RAM（Random Access Memory）、及び不揮発性メモリ等を備える。制御部１５は、例えばROMまたは不揮発性メモリに記憶されたプログラム（プログラムコード群）に従って、図３に示すように、センシング制御部１５ａ、センシングデータ取得部１５ｂ（第１取得部の一例）、及び飛行制御部１５ｃとして機能する。なお、制御部１５は、ＵＡＶ１が飛行中、ＵＡＶ１の位置情報及び飛行体ＩＤを、無線通信部１２に管理サーバ３（またはGCSを介して管理サーバ３）へ逐次送信させる。この飛行体ＩＤは、ＵＡＶ１を識別可能な識別情報である。
　センシング制御部１５ａは、センサ部１３により行われる遠距離センシングのタイミングを制御する。遠距離センシングのタイミングは、上記プログラムに予め規定されてもよいし、GCSまたは管理サーバ３からのセンシング制御命令に示されてもよい。
　センシングデータ取得部１５ｂは、遠距離センシングにより得られた遠距離センシングデータ（第１のセンシングデータの一例）を取得する。遠距離センシングデータは、無線通信部１２により管理サーバ３へ送信され、ＵＧＶ２によりセンシングされるべき対象領域を抽出するために利用される。かかる対象領域の一例として、ＵＡＶ１の下方において植物や土壌の異常が発生している蓋然性の高い領域が挙げられる。
　ここで、「ＵＡＶ１の下方において」とは、「遠距離センシング時にＵＡＶ１の下方であった領域において」を意味する。これは、ＵＡＶ１による遠距離センシング時にはＵＡＶ１の下方であっても、対象領域の抽出が行われる時点ではＵＡＶ１が移動している可能性があるからである。遠距離センシングデータは、センサ部１３から出力された生の検出データであってもよいし、当該出力された生の検出データに基づいて解析処理されたデータであってもよい。
　また、遠距離センシングデータは、例えば、地表のRGB画像、植生活性度画像、及びサーマル画像（温度分布画像）などのうち少なくとも１つのマップ画像を構成するデータである。ここで、植生活性度画像は、芝生や農作物などの植物の有無及び多さを色分けして表示した画像である。活性度（植生活性度）は、NDVI（Normalized Difference Vegetation Index）により表されてもよい。
　NDVIとは、植物の健康状態と、可視域から近赤外域の各波長の反射率との関係を示す値（指標）である。例えば、植物は可視域の電波を吸収する一方、近赤外域の電波を強く反射する特性を持つので、NDVIが高いほど健康な状態であることを意味する。上記マップ画像における各画素値（例えば、RGB値、活性度、または温度に相当し、これらは測定値である）には、位置情報が対応付けられる。かかる位置情報（つまり、遠距離センシングデータにおける位置情報）は、例えば、ＵＡＶ１の水平方向の現在位置を示す位置情報、及びSLAM（Simultaneous Localization and Mapping）処理（マップ生成と自己位置推定を同時に行う処理）により特定される。
　飛行制御部１５ｃは、センシング領域内外においてＵＡＶ１を飛行させるための飛行制御を行う。かかる飛行制御においては、センサ部１３からの検出データ、測位部１４からの位置情報、及び管理サーバ３からの飛行制御情報等が用いられて、ロータの回転数の制御、ＵＡＶ１の位置、姿勢及び進行方向の制御が行われる。ここで、飛行制御情報には、例えば、飛行ルートに沿った飛行命令が含まれる。飛行ルートは、例えば管理サーバ３により予め定められる。飛行制御情報により、ＵＡＶ１は、飛行ルートを飛行しながら遠距離センシングを行うことができる。
　なお、ＵＡＶ１を飛行させることには、ＵＡＶ１をホバリングさせることを含む。ここで、ホバリングさせるとは、ＵＡＶ１を空中で完全に静止させることに限定されず、ＵＡＶ１が多少の移動（つまり、水平方向、垂直方向、または斜め方向に移動）が発生してもよい（つまり、ＵＡＶ１が着陸せず空中に浮いていればよい）。
　飛行制御部１５ｃにより、センシング領域内外においてＵＡＶ１を遠隔操縦または自律的に飛行させることができる。なお、ＵＡＶ１の自律的な飛行は、飛行制御部１５ｃが飛行制御を行うことによる自律飛行に限定されるものではなく、ＵＡＶ１の自律的な飛行には、例えばセンシングシステムＳ全体として飛行制御を行うことによる自律飛行も含まれる。
［１－２．ＵＧＶ２の構成及び機能］
　次に、図４～図６を参照して、ＵＧＶ２の構成及び機能について説明する。図４は、ＵＧＶ２の概要構成例を示す図である。図４に示すように、ＵＧＶ２は、駆動部２１、無線通信部２２、センサ部２３、測位部２４、及び制御部２５等を備える。図５は、制御部２５における機能ブロック例を示す図である。なお、図示しないが、ＵＧＶ２は、ＵＧＶ２の各部へ電力を供給するバッテリを備える。
　駆動部２１は、モータ及び回転軸等を備える。駆動部２１は、制御部２５から出力された制御信号に従って駆動するモータ及び回転軸等により複数の車輪を回転させる。無線通信部２２は、通信ネットワークＮＷを介して管理サーバ３との間で行われる通信の制御を担う。また、無線通信部２２は、Bluetooth（登録商標）等の近距離無線通信機能を備えてもよい。
　センサ部２３は、ＵＧＶ２の移動制御のために必要な各種センサを備える。各種センサには、例えば、光学センサが含まれる。センサ部２３により検出された検出データは、制御部２５へ出力される。光学センサは、例えばカメラにより構成され、遠距離センシングデータに基づいて抽出された対象領域の全体または一部分を精微にセンシング（以下、「近距離センシング（第２のセンシングの一例）」という）するためにも用いられる。
　ここで、近距離センシングには、センシング可能な範囲内の対象領域における地表を撮像することにより地表の状態（例えば、植物や土壌の状態）を観測することが含まれる。なお、光学センサには、マップ画像の作成のためにLiDARが含まれるとよい。図６は、ＵＡＶ１により行われる遠距離センシングの範囲（つまり、センシング可能な範囲）と、ＵＧＶ２により行われる近距離センシングの範囲との関係を示す図である。図６に示すように、センシング領域（例えばゴルフ場）Ａ１において行われる遠距離センシングの範囲Ｒ１は、対象領域Ａ２において行われる近距離センシングの範囲Ｒ２よりも広くなっている。
　また、図６の例では、近距離センシングの範囲Ｒ２は対象領域Ａ２よりも広くなっている（つまり、近距離センシングの範囲Ｒ２内に対象領域Ａ２が含まれている）が、近距離センシングの範囲Ｒ２が対象領域Ａ２よりも狭い（例えば、対象領域Ａ２の全体がカメラの画角に収まらない）場合もある。この場合、対象領域Ａ２は連続して複数回、近距離センシングされることで対象領域Ａ２全体がセンシングされるとよい。なお、例えば近距離センシングの時点において、対象領域Ａ１とＵＡＶ１との間の距離は、対象領域Ａ２とＵＧＶ２との間の距離より大きく（長く）なっている。
　また、センサ部２３には、土壌センサが含まれてもよい。この場合、近距離センシングには、対象領域における地中の水分量（含水率）、温度、塩分濃度、電気伝導度、及び酸性度のうち少なくとも何れか１つを計測することが含まれる。かかる近距離センシングにより植物や土壌の状態を精微に観測することができる。また、ＵＧＶ２には、対象領域における地中に土壌センサを挿入するためのアーム（例えば、油圧アーム）が備えられる。かかるアームは駆動部２１により駆動する。
　近距離センシングは、例えばＵＧＶ２が対象領域の近傍または対象領域内に到着したときに１回以上行われる。近距離センシングの精度を高めるためには、時系列で連続的に行われるとよく、近距離センシングの時間間隔は、一定間隔であってもよいし、不定間隔であってもよい。
　なお、対象領域に向けてＵＧＶ２が移動する前に、光学センサにより地上のセンシングが行われてもよい。かかるセンシングを、「地上センシング（第３のセンシングの一例）」という。
　測位部２４は、電波受信機等を備える。測位部２４は、例えば、GNSSの衛星から発信された電波を電波受信機により受信し、当該電波に基づいてＵＧＶ２の現在位置（緯度及び経度）を検出する。なお、ＵＧＶ２の現在位置は、GNSSの衛星から発信された電波に加えて、SLAM処理により特定されてもよい。また、ＵＧＶ２の現在位置は、光学センサにより撮像された画像に基づいて補正されてもよい。測位部２４により検出された現在位置を示す位置情報は、制御部２５へ出力される。
　制御部２５は、CPU、ROM、RAM、及び不揮発性メモリ等を備える。制御部２５は、例えばROMまたは不揮発性メモリに記憶されたプログラム（プログラムコード群）に従って、図５に示すように、センシング制御部２５ａ、センシングデータ取得部２５ｂ（第２取得部及び第３取得部の一例）、及び移動制御部２５ｃとして機能する。なお、制御部２５は、ＵＧＶ２の位置情報及び走行体ＩＤを、無線通信部２２に管理サーバ３へ逐次送信させる。この走行体ＩＤは、ＵＧＶ２を識別可能な識別情報である。
　センシング制御部２５ａは、センサ部２３により行われる近距離センシング及び地上センシングそれぞれのタイミングを制御する。近距離センシング及び地上センシングのタイミングは、上記プログラムに予め規定されてもよいし、管理サーバ３からのセンシング制御命令に示されてもよい。
　センシングデータ取得部２５ｂは、近距離センシングにより得られた近距離センシングデータ（第２のセンシングデータの一例）を取得する。近距離センシングデータは、無線通信部２２により管理サーバ３へ送信され、例えば、遠距離センシングデータに基づいて抽出された対象領域において異常が発生しているか否かを判定するために利用される。近距離センシングデータは、センサ部２３から出力された生の検出データであってもよいし、当該出力された生の検出データに基づいて解析処理されたデータであってもよい。
　また、近距離センシングデータは、対象領域における地表のRGB画像、植生活性度画像、及びサーマル画像などのうち少なくとも１つのマップ画像を構成するデータであるとよい。当該マップ画像における各画素値（例えば、RGB値、活性度、または温度に相当）には、位置情報が対応付けられる。かかる位置情報（つまり、近距離センシングデータにおける位置情報）は、例えば、ＵＧＶ２の現在位置を示す位置情報、及びSLAM処理により特定される。
　また、センサ部２３に土壌センサが含まれる場合（つまり、近距離センシングデータが地中に挿入された土壌センサを用いて取得される場合）、当該近距離センシングデータには、対象領域における地中の水分量、温度、塩分濃度、電気伝導度、及び酸性度のうち少なくとも何れか１つに関するデータが含まれる。かかるデータには上記位置情報が対応付けられるとよい。なお、センシングデータ取得部２５ｂは、地上センシングにより得られた地上センシングデータ（第３のセンシングデータの一例）を取得してもよい。地上センシングデータは、無線通信部２２により管理サーバ３へ送信される。
　移動制御部２５ｃは、対象領域に向けてＵＧＶ２を移動させるための移動制御を行う。かかる移動制御においては、センサ部２３からの検出データ、測位部２４からの位置情報、及び管理サーバ３からの移動制御情報等が用いられて、車輪の回転数の制御、ＵＧＶ２の位置及び進行方向の制御が行われる。ここで、移動制御情報には、例えば、ＵＧＶ２を対象領域に向けて移動させる移動命令が含まれる。移動制御部２５ｃにより、対象領域に向けてＵＧＶ２を移動させることができる。そして、移動制御にしたがって移動したＵＧＶ２がセンサ部２３により対象領域の全体または一部分をセンシングすることができる。
［１－３．管理サーバ３の構成及び機能］
　次に、図７及び図８を参照して、管理サーバ３の構成及び機能について説明する。図７は、管理サーバ３の概要構成例を示す図である。図７に示すように、管理サーバ３は、通信部３１、記憶部３２、及び制御部３３等を備える。図８は、制御部３３における機能ブロック例を示す図である。通信部３１は、通信ネットワークＮＷを介して、ＵＡＶ１及びＵＧＶ２のそれぞれとの間で行われる通信の制御を担う。ＵＡＶ１から送信された遠距離センシングデータ、ＵＡＶ１の位置情報及び飛行体ＩＤは、通信部３１により受信される。管理サーバ３は、ＵＡＶ１の位置情報によりＵＡＶ１の現在位置を認識することができる。
　また、ＵＧＶ２から送信された近距離センシングデータ、地上センシングデータ、ＵＧＶ２の位置情報及び飛行体ＩＤは、通信部３１により受信される。管理サーバ３は、ＵＧＶ２の位置情報によりＵＧＶ２の現在位置を認識することができる。記憶部３２は、例えば、ハードディスクドライブ等を備える。記憶部３２には、センシングデータベース（ＤＢ）３２ａが設けられる。
　センシングデータベース３２ａには、センシング領域の位置情報、当該センシング領域における遠距離センシングにより得られた遠距離センシングデータ、当該遠距離センシングを行ったＵＡＶ１の飛行体ＩＤ、当該センシング領域から抽出された対象領域の位置情報、当該対象領域における近距離センシングにより得られた近距離センシングデータ、及び当該近距離センシングを行ったＵＧＶ２の走行体ＩＤ等が対象領域毎に対応付けられて格納される。ここで、センシング領域の位置情報は、当該センシング領域の外縁の緯度及び経度を示すものであってよい。同様に、対象領域の位置情報は、当該対象領域の外縁の緯度及び経度を示すものであってよい。なお、センシング領域の位置情報に対して、当該センシング領域に関わる管理者等の認証用情報（ＩＤ及びパスワード）及び電子メールアドレスが対応付けられて記憶部３２に記憶されてもよい。
　制御部３３は、プロセッサであるCPU、ROM、RAM、及び不揮発性メモリ等を備える。制御部３３は、例えばROMまたは不揮発性メモリに記憶されたプログラム（プログラムコード群）に従って、図８に示すように、センシングデータ取得部３３ａ（第１取得部、第２取得部、及び第３取得部の一例）、対象領域抽出部３３ｂ（抽出部の一例）、機体制御部３３ｃ、異常判定部３３ｄ（判定部の一例）、及び情報提供部３３ｅ（表示制御部、及び送信部の一例）等として機能する。
　センシングデータ取得部３３ａは、ＵＡＶ１から送信された遠距離センシングデータを、通信部３１を介して取得する。また、センシングデータ取得部３３ａは、ＵＧＶ２から送信された近距離センシングデータを、通信部３１を介して取得する。また、センシングデータ取得部３３ａは、ＵＧＶ２から送信された地上センシングデータを、通信部３１を介して取得する。
　対象領域抽出部３３ｂは、センシングデータ取得部３３ａにより取得された遠距離センシングデータに基づいて、ＵＧＶ２によりセンシングされる対象領域を抽出する。例えば、対象領域抽出部３３ｂは、遠距離センシングデータに基づいて、ＵＡＶ１の下方であった領域において異常が発生している蓋然性の高い領域（異常候補領域）を対象領域として抽出する。このような対象領域は、遠距離センシングデータに含まれる植生活性度画像における活性度に基づいて抽出されるとよい。これにより、植物の異常が発生している蓋然性の高い領域を迅速に発見することができる。例えば、植生活性度画像において活性度が閾値以下の領域が対象領域として抽出される。
　或いは、当該対象領域は、遠距離センシングデータに含まれるRGB画像におけるRGB値に基づいて抽出されてもよい。例えば、RGB画像において所定の適正な植物の色（RGB値）との差異が閾値以上の領域が対象領域として抽出される。或いは、当該対象領域は、遠距離センシングデータに含まれるサーマル画像における温度に基づいて抽出されてもよい。例えば、サーマル画像において所定の適正温度との差異が閾値以上の領域が対象領域として抽出される。なお、植生活性度画像における活性度、RGB画像におけるRGB値、及びサーマル画像における温度のうちの何れか２つ以上の測定値に基づいて対象領域が抽出されてもよい。
　機体制御部３３ｃは、センシング領域内外においてＵＡＶ１を飛行させるための飛行制御を行うことが可能である。例えば、機体制御部３３ｃは、飛行制御情報を通信部３１によりＵＡＶ１へ送信させることでＵＡＶ１の飛行を制御する。また、機体制御部３３ｃは、対象領域抽出部３３ｂにより対象領域が抽出された対象領域に向けてＵＧＶ２を移動させるための移動制御を行うことが可能である。例えば、機体制御部３３ｃは、移動制御情報を通信部３１によりＵＧＶ２へ送信させることでＵＧＶ２の移動を制御する。
　ＵＧＶ２の移動制御は、ＵＡＶ１の位置情報と、ＵＡＶ１からの遠距離センシングデータ（例えば、RGB画像）に基づいて行われてもよい。例えば、機体制御部３３ｃは、対象領域抽出部３３ｂにより抽出された対象領域に向けてＵＧＶ２を移動させる前に、ＵＡＶ１の位置情報に基づいて、ＵＡＶ１により行われる遠距離センシングの範囲（例えば、ＵＡＶ１のカメラの撮影範囲）内にＵＧＶ２を移動させる。つまり、機体制御部３３ｃは、ＵＧＶ２をＵＡＶ１のある程度近まで移動させる。このとき、ＵＡＶ１が遠距離センシングを行うことにより得られた遠距離センシングデータと、ＵＧＶ２が地上センシングを行うことにより得られた地上センシングデータとがセンシングデータ取得部３３ａにより取得される。
　機体制御部３３ｃは、このとき取得された遠距離センシングデータと地上センシングデータとに基づいて、対象領域に向けてＵＧＶ２を移動させるための移動制御を行う。例えば、機体制御部３３ｃは、遠距離センシングデータと地上センシングデータとをマッチングすることにより地上センシングデータから検出された対象領域に向けてＵＧＶ２を移動させるための移動制御を行う。これにより、ＵＧＶ２をより正確に対象領域に誘導することができる。
　なお、遠距離センシングデータと地上センシングデータとのマッチングは、例えば、遠距離センシングデータに含まれるマップ画像（例えば、RGB画像）中の幾つかの特徴点のそれぞれに対応する特徴点（例えば、一致度が最も大きい特徴点）を地上センシングデータに含まれるマップ画像から抽出することにより行われる。なお、ＵＡＶ１は、ＵＧＶ２がカメラによりビューイングするであろう側から対象領域にカメラを向けて遠距離センシング（例えば、撮像）を行うことで、よりマッチングし易くすることができる。
　また、対象領域抽出部３３ｂにより対象領域が抽出された場合、機体制御部３３ｃは、ＵＡＶ１に移動（例えば飛行ルートに沿った移動）を中断させてホバリング状態に移行させる制御を行ってもよい。例えば、対象領域抽出部３３ｂは、ＵＡＶ１を対象領域の上空でホバリングさせる。そして、機体制御部３３ｃは、ホバリング状態にあるＵＡＶ１により行われる遠距離センシングの範囲（例えば、ＵＡＶ１のカメラの撮影範囲）内にＵＧＶ２を移動させる。なお、ＵＡＶ１の真下付近にＵＧＶ２を移動させてもよい。
　その後、機体制御部３３ｃは、遠距離センシングデータに基づいて、対象領域に向けてＵＧＶ２を移動させるための移動制御を行う。例えば、機体制御部３３ｃは、ＵＡＶ１から連続して複数回受信される遠距離センシングデータ（例えば、RGB画像）から、ＵＧＶ２と対象領域との位置関係を取得し続け、ＵＧＶ２を対象領域に向けて移動させる。これにより、ＵＧＶ２をより正確に対象領域に誘導することができる。
　また、ＵＧＶ２がカメラにより近距離センシングを行う場合において、対象領域の全体がカメラの画角に収まらない場合、機体制御部３３ｃは、当該対象領域の全体についてのデータ（例えば、対象領域の全体を含むマップ画像）が近距離センシングデータに含まれるように、ＵＧＶ２を移動させながら、当該ＵＧＶ２に対象領域を連続して複数回、近距離センシングさせるように制御してもよい。これにより、対象領域の全体がカメラの画角に収まらない場合であっても、対象領域の全体について近距離センシングデータ（例えば複数枚の静止画像または動画像）を得ることができる。
　なお、対象領域の全体がカメラの画角に収まるか否かの判定は、制御部３３により行われてもよいし、ＵＧＶ２により行われてもよい。かかる判定が制御部３３により行われる場合、機体制御部３３ｃは、対象領域の全体についてのデータが近距離センシングデータに含まれるように走行ルートを決定し、当該決定した走行ルートに沿った移動命令及び近距離センシングの実行命令を含む移動制御情報を通信部３１によりＵＧＶ２へ送信させる。一方、かかる判定がＵＧＶ２により行われる場合、ＵＧＶ２は、機体制御部３３ｃから上記命令を受けることなく、対象領域の全体についてのデータが近距離センシングデータに含まれるように、自律的に移動しながら、当該対象領域を連続して複数回センシングを行ってもよい。
　異常判定部３３ｄは、センシングデータ取得部３３ａにより取得された近距離センシングデータに基づいて、対象領域抽出部３３ｂにより抽出された対象領域に異常が発生しているか否か判定する。すなわち、対象領域抽出部３３ｂにより抽出された対象領域に異常が発生しているか否かが確定的に判断される。例えば、近距離センシングデータに基づいて、より高精度な異常判定が行われて、対象領域に異常が発生しているか否かが判定されてもよい。
　より高精度な異常判定では、例えば機械学習が利用されるとよい。この場合、近距離センシングデータを入力とし、異常発生の有無を出力としたトレーニングデータにより学習された学習済みモデルが用いられる。異常判定部３３ｄは、ＵＧＶ２により近距離センシングされることで得られた近距離センシングデータを当該学習済みモデルに入力することで、当該近距離センシングされた対象領域に異常が発生しているか否かを出力として得る。これにより、異常判定部３３ｄは、対象領域に異常が発生しているか否か判定することができる。なお、機械学習以外の解析アルゴリズムにより対象領域に異常が発生しているかが判定されてもよい。
　情報提供部３３ｅは、センシングデータ取得部３３ａにより取得された近距離センシングデータを、植物及び土壌のうちいずれかの管理者が有する管理者端末を通じて当該管理者が自身の認証用情報によりログインした後、当該管理者端末へ通信部３１を介して送信する。これにより、管理者は近距離センシングデータを確認し、植物（例えば、芝生または農作物等）に病気が発生しているかどうかをより詳しく調査することができる。管理者は、調査結果にしたがって、例えば、薬剤の散布、肥料の散布、水の散布、砂の散布、または芝刈り等の適切な処置を指示するができる。ここで、センシング領域がゴルフ場である場合、管理者は、例えば芝生管理者である。或いは、センシング領域が圃場である場合、管理者は、例えば農作物等の管理者（生産者）である。なお、上述したように、ＵＧＶ２が対象領域を連続して複数回、近距離センシングすることにより得られた複数枚の静止画像または動画像を含む近距離センシングデータが管理者端末へ送信される。
　また、情報提供部３３ｅは、センシングデータ取得部３３ａにより取得された近距離センシングデータに基づいて、対象領域抽出部３３ｂにより抽出された対象領域に関する情報を表示端末へ送信することで表示させてもよい。これにより、抽出された対象領域に関する情報を管理者に視覚的に把握させることができる。なお、表示端末は、管理者端末であってもよいし、センシング領域の利用者や勤務者が使用する端末であってもよい。また、対象領域に関する情報は、例えば、対象領域におけるマップ画像（例えば、RGB画像、植生活性度画像、またはサーマル画像）であるとよい。かかるマップ画像上には、マップ領域（例えば、ゴルフ場の名称）や対象領域の名称及び位置情報等が重畳表示されてもよい。
［２．センシングシステムＳの動作］
　次に、センシングシステムＳの動作について、実施例１～実施例５に分けて説明する。なお、センシングシステムＳの動作において、管理サーバ３は、遠距離センシングに利用されるＵＡＶ１の飛行体ＩＤと、近距離センシングに利用されるＵＧＶ２の走行体ＩＤとを対応付けて管理している。そして、ＵＡＶ１は、飛行中、自己の位置情報及び飛行体ＩＤを管理サーバ３へ逐次送信するものとし、ＵＧＶ２は、走行中、自己の位置情報及び走行体ＩＤを管理サーバ３へ逐次送信する。
（実施例１）
　先ず、図９を参照して、センシングシステムＳの動作の実施例１について説明する。図９は、実施例１においてＵＡＶ１、ＵＧＶ２、及び管理サーバ３の間で実行される処理の一例を示すシーケンス図である。図９において、管理サーバ３は、センシング領域への飛行ルートに沿った飛行命令を含む飛行制御情報を、通信ネットワークＮＷを介してＵＡＶ１へ送信する（ステップＳ１）。
　次いで、ＵＡＶ１は、管理サーバ３からの飛行制御情報を取得（受信）すると、センシング領域への飛行ルートに沿って飛行を開始する（ステップＳ２）。次いで、ＵＡＶ１は、センシング領域の上空に到着すると（ステップＳ３）、センサ部１３を起動して遠距離センシングを開始し、ＵＡＶ１の下方を遠距離センシングすることにより得られた遠距離センシングデータを取得する（ステップＳ４）。なお、遠距離センシングは、ＵＡＶ１が移動しながら行われてもよいし、ホバリングしながら行われてもよい。次いで、ＵＡＶ１は、ステップＳ４で取得された遠距離センシングデータ及びＵＡＶ１の飛行体ＩＤを、通信ネットワークＮＷを介して管理サーバ３へ送信する（ステップＳ５）。
　次いで、管理サーバ３は、ＵＡＶ１からの遠距離センシングデータ及び飛行体ＩＤを取得すると、当該遠距離センシングデータに基づいて、ＵＧＶ２によりセンシングされる対象領域を抽出する（ステップＳ６）。このＵＧＶ２は、例えば、遠距離センシングデータとともに管理サーバ３から取得された飛行体ＩＤに対応付けられた走行体ＩＤに基づいて特定される。次いで、管理サーバ３は、ステップＳ６で抽出された対象領域へ移動させる移動命令を含む移動制御情報を、通信ネットワークＮＷを介してＵＧＶ２へ送信する（ステップＳ７）。かかる移動制御情報には、上記抽出された対象領域の位置情報が含まれる。
　次いで、ＵＧＶ２は、管理サーバ３からの移動制御情報を取得すると、対象領域に向けて移動を開始する（ステップＳ８）。次いで、ＵＧＶ２は、対象領域の近傍または対象領域内に到着すると（ステップＳ９）、センサ部２３を起動して近距離センシングを開始し、対象領域の全体または一部分を近距離センシングすることにより得られた近距離センシングデータを取得する（ステップＳ１０）。次いで、ＵＧＶ２は、ステップＳ１０で取得された近距離センシングデータ及びＵＧＶ２の走行体ＩＤを、通信ネットワークＮＷを介して管理サーバ３へ送信する（ステップＳ１１）。
　次いで、管理サーバ３は、ＵＧＶ２からの近距離センシングデータ及び走行体ＩＤを取得すると、当該近距離センシングデータに基づいて、ステップＳ６で抽出された対象領域に異常が発生しているか否か判定する（ステップＳ１２）。対象領域に異常が発生していないと判定された場合（ステップＳ１２：ＮＯ）、処理は終了する。
　一方、対象領域に異常が発生していると判定された場合（ステップＳ１２：ＹＥＳ）、ステップＳ６で抽出された対象領域に関する情報（例えば、対象領域におけるマップ画像）へアクセスするためのＵＲＬ（Uniform Resource Locator）を記述する電子メールが、上記センシング領域に関わる管理者の電子メールアドレス宛に送信される（ステップＳ１３）。こうして送信された電子メールは、管理者の管理者端末により受信されて表示される。そして、電子メールに記述されたＵＲＬが指定されることで対象領域に関する情報が管理者端末により表示される。
（実施例２）
　次に、図１０を参照して、センシングシステムＳの動作の実施例２について説明する。実施例２は、管理サーバ３により行われる、遠距離センシングデータと地上センシングデータとのマッチングの結果に基づいて、ＵＧＶ２が対象領域に向けて移動する場合の例である。図１０は、実施例２においてＵＡＶ１、ＵＧＶ２、及び管理サーバ３の間で実行される処理の一例を示すシーケンス図である。なお、図１０に示すステップＳ２１～Ｓ２６の処理は、図９に示すステップＳ１～ステップＳ６の処理と同様である。ステップＳ２７では、管理サーバ３は、ＵＡＶ１の位置情報とＵＧＶ２の位置情報とに基づいて、ＵＡＶ１により行われる遠距離センシングの範囲（例えば、ＵＡＶ１のカメラの撮影範囲）内にＵＧＶ２が入る地点を決定する。次いで、管理サーバ３は、ステップＳ２７で決定された地点へ移動させる移動命令を含む移動制御情報を、通信ネットワークＮＷを介してＵＧＶ２へ送信する（ステップＳ２８）。かかる移動制御情報には、上記決定された地点の位置情報が含まれる。
　次いで、ＵＧＶ２は、管理サーバ３からの移動制御情報を取得すると、上記地点に向けて移動を開始する（ステップＳ２９）。次いで、ＵＧＶ２は、当該移動制御情報に示される地点に到着すると（ステップＳ３０）、センサ部２３を起動して地上センシングを開始し、地上センシングすることにより得られた地上センシングデータを取得する（ステップＳ３１）。次いで、ＵＧＶ２は、ステップＳ３１で取得された地上センシングデータ及びＵＧＶ２の走行体ＩＤを、通信ネットワークＮＷを介して管理サーバ３へ送信する（ステップＳ３２）。
　次いで、管理サーバ３は、地上センシングデータ及び走行体ＩＤを取得すると、遠距離センシングデータと地上センシングデータとをマッチングし、ステップＳ２６で抽出された対象領域を地上センシングデータから検出する（ステップＳ３３）。次いで、管理サーバ３は、ステップＳ３３で検出された対象領域へ移動させる移動命令を含む移動制御情報を、通信ネットワークＮＷを介してＵＧＶ２へ送信する（ステップＳ３４）。なお、図１０に示すステップＳ３５～Ｓ４０の処理は、図９に示すステップＳ８～Ｓ１３の処理と同様である。
（実施例３）
　次に、図１１を参照して、センシングシステムＳの動作の実施例３について説明する。実施例３は、ＵＧＶ２により行われる、遠距離センシングデータと地上センシングデータとのマッチングの結果に基づいて、ＵＧＶ２が対象領域に向けて移動する場合の例である。図１１は、実施例３においてＵＡＶ１、ＵＧＶ２、及び管理サーバ３の間で実行される処理の一例を示すシーケンス図である。なお、図１１に示すステップＳ５１～Ｓ５７の処理は、図１０に示すステップＳ２１～ステップＳ２７の処理と同様である。ステップＳ５８では、管理サーバ３は、ステップＳ５６で抽出された対象領域を示す遠距離センシングデータと、ステップＳ５７で決定された地点を経由して対象領域へ移動させる移動命令とを含む移動制御情報とを、通信ネットワークＮＷを介してＵＧＶ２へ送信する。かかる移動制御情報には、上記決定された地点の位置情報が含まれる。
　次いで、ＵＧＶ２は、管理サーバ３からの遠距離センシングデータ及び移動制御情報を取得すると、上記地点に向けて移動を開始する（ステップＳ５９）。次いで、ＵＧＶ２は、当該移動制御情報に示される地点に到着すると（ステップＳ６０）、センサ部２３を起動して地上センシングを開始し、地上センシングすることにより得られた地上センシングデータを取得する（ステップＳ６１）。次いで、ＵＧＶ２は、管理サーバ３から取得された遠距離センシングデータと、ステップＳ６１で取得された地上センシングデータとをマッチングし、当該遠距離センシングデータに示される対象領域を地上センシングデータから検出する（ステップＳ６２）。次いで、ＵＧＶ２は、地上センシングを行いながら、地上センシングデータから検出される対象領域に向けて移動を開始する（ステップＳ６３）。なお、図１１に示すステップＳ６４～Ｓ６８の処理は、図１０に示すステップＳ３６～Ｓ４０の処理と同様である。
（実施例４）
　次に、図１２を参照して、センシングシステムＳの動作の実施例４について説明する。実施例４は、管理サーバ３により特定される、対象領域とＵＧＶ２との位置関係に基づいて、ＵＧＶ２が対象領域に向けて移動する場合の例である。図１２は、実施例４においてＵＡＶ１、ＵＧＶ２、及び管理サーバ３の間で実行される処理の一例を示すシーケンス図である。なお、図１２に示すステップＳ７１～Ｓ７６の処理は、図９に示すステップＳ１～ステップＳ６の処理と同様である。ステップＳ７７では、管理サーバ３は、ステップＳ７６で抽出された対象領域へ飛行させる飛行命令を含む飛行制御情報を、通信ネットワークＮＷを介してＵＡＶ１へ送信する。
　次いで、ＵＡＶ１は、管理サーバ３からの飛行制御情報を取得すると、対象領域に向けて飛行を開始する（ステップＳ７８）。次いで、ＵＡＶ１は、対象領域の上空に到着すると（ステップＳ７９）、ＵＡＶ１は、当該対象領域の上空で移動を中断してホバリング状態に移行する（ステップＳ８０）。次いで、ＵＡＶ１は、遠距離センシングすることにより得られた遠距離センシングデータ及び飛行体ＩＤを、通信ネットワークＮＷを介して管理サーバ３へ送信する（ステップＳ８１）。かかる遠距離センシングデータは、管理サーバ３へ連続して繰り返し送信される。
　次いで、管理サーバ３は、ＵＡＶ１からの遠距離センシングデータ及び飛行体ＩＤを取得すると、ホバリング状態にあるＵＡＶ１の位置情報、及びＵＧＶ２の位置情報に基づいて、ＵＡＶ１により行われる遠距離センシングの範囲（例えば、ＵＡＶ１のカメラの撮影範囲）内にＵＧＶ２が入る地点を決定する（ステップＳ８２）。次いで、管理サーバ３は、ステップＳ８２で決定された地点へ移動させる移動命令を含む移動制御情報を、通信ネットワークＮＷを介してＵＧＶ２へ送信する（ステップＳ８３）。
　次いで、ＵＧＶ２は、管理サーバ３からの移動制御情報を取得すると、上記地点に向けて移動を開始する（ステップＳ８４）。ＵＧＶ２が当該地点に向けて移動している間、ＵＡＶ１からの遠距離センシングデータは、管理サーバ３により連続して繰り返し受信される。
　次いで、管理サーバ３は、ＵＧＶ２がＵＡＶ１により行われる遠距離センシングの範囲に入ることにより、ＵＡＶ１から連続して受信される遠距離センシングデータからＵＧＶ２を検出すると、当該遠距離センシングデータに基づいてＵＧＶ２と対象領域との位置関係を特定（取得）する（ステップＳ８５）。かかる位置関係には、例えば、ＵＧＶ２を基準とする対象領域の方角、及びＵＧＶ２と領域距離との間の距離が示される。次いで、管理サーバ３は、ステップＳ７６で抽出された対象領域へ移動させる移動命令を含む移動制御情報を、通信ネットワークＮＷを介してＵＧＶ２へ送信する（ステップＳ８６）。かかる移動制御情報には、時々刻々と変化する上記位置関係を示す情報が含まれており、ＵＧＶ２が対象領域に到着するまでＵＧＶ２へ連続して繰り返し送信されるとよい。
　次いで、ＵＧＶ２は、管理サーバ３からの移動制御情報を取得すると、当該ＵＧＶ２と対象領域との位置関係に基づいて、対象領域に向けて移動を開始する（ステップＳ８７）。つまり、ＵＧＶ２は、当該位置関係に示される方角へ当該位置関係に示される距離だけ移動する。なお、ＵＧＶ２は、対象領域に到着するまでに管理サーバ３から繰り返し受信される移動制御情報中の時々刻々と変化する上記位置関係にしたがって、対象領域に向けて移動するとよい。なお、図１２に示すステップＳ８８～Ｓ９２の処理は、図９に示すステップＳ９～Ｓ１３の処理と同様である。
（実施例５）
　次に、図１３を参照して、センシングシステムＳの動作の実施例５について説明する。実施例５は、ＵＡＶ１により特定される、対象領域とＵＧＶ２との位置関係に基づいて、ＵＧＶ２が対象領域に向けて移動する場合の例である。図１３は、実施例５においてＵＡＶ１、ＵＧＶ２、及び管理サーバ３の間で実行される処理の一例を示すシーケンス図である。なお、図１３に示すステップＳ１０１～Ｓ１１４の処理は、図１２に示すステップＳ７１～ステップＳ８４の処理と同様である。
　ＵＡＶ１は、ＵＧＶ２が遠距離センシングの範囲に入ることにより、遠距離センシングデータからＵＧＶ２を検出すると、当該遠距離センシングデータに基づいてＵＧＶ２と対象領域との位置関係を特定する（ステップＳ１１５）。次いで、ＵＡＶ１は、ステップＳ１０７で取得された飛行制御情報に示される対象領域へ移動させる移動命令を含む移動制御情報を、近距離無線通信機能によりＵＧＶ２へ送信する（ステップＳ１１６）。かかる移動制御情報には、時々刻々と変化する上記位置関係を示す情報が含まれており、ＵＧＶ２が対象領域に到着するまでＵＧＶ２へ連続して繰り返し送信されるとよい。
　次いで、ＵＧＶ２は、ＵＡＶ１からの移動制御情報を取得すると、当該ＵＧＶ２と対象領域との位置関係に基づいて、対象領域に向けて移動を開始する（ステップＳ１１７）。なお、ＵＧＶ２は、対象領域に到着するまでにＵＡＶ１から繰り返し受信される移動制御情報中の時々刻々と変化する上記位置関係にしたがって、対象領域に向けて移動するとよい。なお、図１３に示すステップＳ１１８～Ｓ１２２の処理は、図１２に示すステップＳ８８～ステップＳ９２の処理と同様である。
　以上説明したように、上記実施形態によれば、センシングシステムＳは、空中のＵＡＶ１が下方を遠距離センシングすることにより得られた遠距離センシングデータに基づいてＵＧＶ２により近距離センシングされるべき対象領域を抽出し、当該対象領域に向けてＵＧＶ２を移動させるための移動制御を行い、当該移動制御にしたがって移動したＵＧＶ２が対象領域の全体または一部分を近距離センシングすることにより得られた近距離センシングデータを取得するように構成したので、対象領域を迅速に発見して調査するために、俯瞰的な遠距離センシングと精微な近距離センシングとの双方の利点が考慮された好適なセンシングデータを取得することができる。
　すなわち、本実施形態によれば、ＵＡＶ１による俯瞰的な遠距離センシングによりＵＡＶ１の下方において例えば異常が発生している蓋然性の高い対象領域を迅速に発見することができ、その後、ＵＧＶ２による精微な近距離センシングにより当該対象領域を詳しく調査することができる。そのため、ＵＡＶ１が低空飛行を行いながら下方をセンシングする必要がないので、地面効果によりＵＡＶ１が不安定になることを防ぐことができる。また、ＵＡＶ１が着陸した状態で周囲をセンシングする必要もないので、ＵＡＶ１が不安定になることを防ぐとともに、ＵＡＶ１の離着陸のためのエネルギー（バッテリや燃料）の消費を抑えることができる。さらに、ＵＡＶ１が上空から高倍率のセンサを用いてセンシングしなくてもよいので、ＵＡＶ１の振動等によりセンシングに与えられる悪影響を回避することができる。さらに、本実施形態によれば、俯瞰的なセンシングと精微なセンシングとの双方の利点が考慮されたセンシングデータを利用して、対象領域に異常が発生しているかを迅速且つ高精度に判定することができる。
　なお、上記実施形態は本発明の一実施形態であり、本発明は上記実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲で上記実施形態から種々構成等に変更を加えてもよく、その場合も本発明の技術的範囲に含まれる。上記実施形態においてはゴルフ場における芝生の管理や圃場における農作物等の管理を想定しているが、本発明は、これらの管理以外にも、広い範囲から異常が発生している箇所を見つけるために好適に適用可能である。例えば、本発明は道路の管理等にも適用可能である。この場合、例えば、道路においてひび割れが発生している蓋然性が高い領域、または道路において閾値以上の傾斜や凸凹が発生している蓋然性が高い領域が対象領域として抽出される。また、上記実施形態においては、飛行体として有人航空機を例にとって説明したが、飛行体は、機内に操縦者（パイロット）が存在しなくても飛行することができる有人航空機に対しても適用可能である。
　また、上記実施形態においては、センシングデータ取得部３３ａ、対象領域抽出部３３ｂ、機体制御部３３ｃ、異常判定部３３ｄ、及び情報提供部３３ｅが管理サーバ３の制御部３３に備えられる場合の例を示したが、これらの構成要素の全部または一部はＵＡＶ１の制御部１５またはＵＧＶ２の制御部２５に備えられてもよい。例えば、ＵＡＶ１の制御部１５は、遠距離センシングデータに基づいて近距離センシングされるべき対象領域を抽出し、上述した移動制御情報を近距離無線通信機能によりＵＧＶ２へ送信することで、当該対象領域に向けてＵＧＶ２を移動させるための移動制御を行ってもよい。また、ＵＡＶ１の制御部１５は、ＵＧＶ２または管理サーバ３から近距離センシングデータを取得し、当該近距離センシングデータに基づいて対象領域に異常が発生しているか否か判定してもよい。また、ＵＡＶ１の制御部１５は、近距離センシングデータを管理者端末へ送信してもよいし、当該近距離センシングデータに基づいて対象領域に関する情報を表示端末に表示させてもよい。或いは、ＵＧＶ２の制御部２５は、ＵＡＶ１または管理サーバ３から遠距離センシングデータを取得し、当該遠距離センシングデータに基づいて近距離センシングされるべき対象領域を抽出し、当該対象領域に向けてＵＧＶ２を移動させるための移動制御を行ってもよい。また、ＵＧＶ２の制御部２５は、近距離センシングデータに基づいて当該対象領域に異常が発生しているか否か判定してもよい。また、ＵＧＶ２の制御部２５は、近距離センシングデータを管理者端末へ送信してもよいし、当該近距離センシングデータに基づいて対象領域に関する情報を表示端末に表示させてもよい。
１　ＵＡＶ
２　ＵＧＶ
３　管理サーバ
１１，１２　駆動部
１２，２２　無線通信部
１３，２３　センサ部
１４，２４　測位部
１５，２５　制御部
３１　通信部
３２　記憶部
３３　制御部
１５ａ，２５ａ　センシング制御部
１５ｂ，２５ｂ　センシングデータ取得部
１５ｃ　飛行制御部
２５ｃ　移動制御部
３３ａ　センシングデータ取得部
３３ｂ　対象領域抽出部
３３ｃ　機体制御部
３３ｄ　異常判定部
３３ｅ　情報提供部
Ｓ　センシングシステム

Claims (18)

  1. 　空中の飛行体が下方をセンシングすることにより得られた第１のセンシングデータを取得する第１取得部と、
    　前記第１のセンシングデータに基づいて、地上を走行可能な走行体によりセンシングされる対象領域を抽出する抽出部と、
    　前記対象領域に向けて前記走行体を移動させるための移動制御を行う制御部と、
    　前記移動制御にしたがって移動した前記走行体が前記対象領域の全体または一部分をセンシングすることにより得られた第２のセンシングデータを取得する第２取得部と、
    　を備えることを特徴とするセンシングシステム。
  2. 　前記第２のセンシングデータに基づいて、前記対象領域に関する情報を表示端末に表示させる表示制御部をさらに備えることを特徴とする請求項１に記載のセンシングシステム。
  3. 　前記抽出部は、前記第１のセンシングデータに基づいて、前記下方において異常が発生している蓋然性の高い領域を前記対象領域として抽出することを特徴とする請求項１または２に記載のセンシングシステム。
  4. 　前記第１のセンシングデータは、植生活性度画像を含み、
    　前記抽出部は、前記植生活性度画像における活性度に基づいて、前記対象領域を抽出することを特徴とする請求項１乃至３の何れか一項に記載のセンシングシステム。
  5. 　前記第２のセンシングデータは、前記対象領域における地中の水分量、温度、塩分濃度、電気伝導度、及び酸性度のうち少なくとも何れか１つに関するデータを含むことを特徴とする請求項１乃至４の何れか一項に記載のセンシングシステム。
  6. 　前記第２のセンシングデータは、前記対象領域における地中に挿入されたセンサを用いて取得される請求項１乃至５の何れか一項に記載のセンシングシステム。
  7. 　前記第２のセンシングデータに基づいて、前記対象領域に異常が発生しているか否か判定する判定部をさらに備えることを特徴とする請求項１乃至６の何れか一項に記載のセンシングシステム。
  8. 　前記異常は、植物、土壌、及び道路のうちいずれかの異常であることを特徴とする請求項３または７に記載のセンシングシステム。
  9. 　前記第２のセンシングデータを、前記植物、前記土壌、及び前記道路のうちいずれかの管理者が有する端末へ送信する送信部をさらに備えることを特徴とする請求項８に記載のセンシングシステム。
  10. 　前記制御部は、前記対象領域の全体についてのデータが前記第２のセンシングデータに含まれるように、前記走行体を移動させながら、当該走行体に前記対象領域を連続して複数回センシングさせることを特徴とする請求項１乃至９の何れか一項に記載のセンシングシステム。
  11. 　前記対象領域に向けて前記走行体を移動させる前に、前記走行体が地上をセンシングすることにより得られた第３のセンシングデータを取得する第３取得部をさらに備え、
    　前記制御部は、前記第１のセンシングデータと前記第３のセンシングデータとに基づいて、前記対象領域に向けて前記走行体を移動させるための移動制御を行うことを特徴とする請求項１乃至１０の何れか一項に記載のセンシングシステム。
  12. 　前記制御部は、前記第１のセンシングデータと前記第３のセンシングデータとをマッチングすることにより前記第３のセンシングデータから検出された前記対象領域に向けて前記走行体を移動させるための移動制御を行うことを特徴とする請求項１１に記載のセンシングシステム。
  13. 　前記抽出部により前記対象領域が抽出された場合、前記制御部は、ホバリング状態にある前記飛行体により行われる前記センシングの範囲内に前記走行体を移動させた後に、前記第１のセンシングデータに基づいて、前記対象領域に向けて前記走行体を移動させるための移動制御を行うことを特徴とする請求項１乃至１２の何れか一項に記載のセンシングシステム。
  14. 　前記飛行体は予め定められた飛行ルートを移動しながら前記センシングを行うものであり、
    　前記抽出部により前記対象領域が抽出された場合、前記制御部は、前記ルートに沿った移動を前記飛行体に中断させて前記ホバリング状態に移行させることを特徴とする請求項１３に記載のセンシングシステム。
  15. 　前記対象領域と前記飛行体との間の距離は、前記対象領域と前記走行体との間の距離より大きいことを特徴とする請求項１乃至１３の何れか一項に記載のセンシングシステム。
  16. 　前記飛行体により行われる前記センシングの範囲は、前記走行体により行われる前記センシングの範囲より広いことを特徴とする請求項１乃至１５の何れか一項に記載のセンシングシステム。
  17. 　空中の飛行体が下方をセンシングすることにより得られた第１のセンシングデータを取得するステップと、
    　前記第１のセンシングデータに基づいて、地上を走行可能な走行体によりセンシングされる対象領域を抽出するステップと、
    　前記対象領域に向けて前記走行体を移動させるための移動制御を行う制御部と、
    　前記移動制御にしたがって移動した前記走行体が前記対象領域の全体または一部分をセンシングすることにより得られた第２のセンシングデータを取得するステップと、
    　を含むことを特徴とするセンシングデータ取得方法。
  18. 　空中の飛行体が下方をセンシングすることにより得られた第１のセンシングデータを取得する第１取得部と、
    　前記第１のセンシングデータに基づいて、地上を走行可能な走行体によりセンシングされる対象領域を抽出する抽出部と、
    　前記対象領域に向けて前記走行体を移動させるための移動制御を行う制御部と、
    　前記移動制御にしたがって移動した前記走行体が前記対象領域の全体または一部分をセンシングすることにより得られた第２のセンシングデータを取得する第２取得部と、
    　を備えることを特徴とする制御装置。
PCT/JP2020/044196 2020-11-27 2020-11-27 センシングシステム、センシングデータ取得方法、及び制御装置 WO2022113260A1 (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
EP20934878.8A EP4033322A1 (en) 2020-11-27 2020-11-27 Sensing system, sensing data acquisition method, and control device
JP2021564206A JP7041794B1 (ja) 2020-11-27 2020-11-27 センシングシステム、センシングデータ取得方法、及び制御装置
PCT/JP2020/044196 WO2022113260A1 (ja) 2020-11-27 2020-11-27 センシングシステム、センシングデータ取得方法、及び制御装置
CN202080037168.3A CN114829896A (zh) 2020-11-27 2020-11-27 感测***、感测数据取得方法、及控制装置
US17/595,339 US20230116047A1 (en) 2020-11-27 2020-11-27 Sensing system, sensing data acquisition method, and control device
TW110143472A TWI771231B (zh) 2020-11-27 2021-11-23 感測系統、感測資料取得方法及控制裝置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2020/044196 WO2022113260A1 (ja) 2020-11-27 2020-11-27 センシングシステム、センシングデータ取得方法、及び制御装置

Publications (1)

Publication Number Publication Date
WO2022113260A1 true WO2022113260A1 (ja) 2022-06-02

Family

ID=81214352

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/044196 WO2022113260A1 (ja) 2020-11-27 2020-11-27 センシングシステム、センシングデータ取得方法、及び制御装置

Country Status (6)

Country Link
US (1) US20230116047A1 (ja)
EP (1) EP4033322A1 (ja)
JP (1) JP7041794B1 (ja)
CN (1) CN114829896A (ja)
TW (1) TWI771231B (ja)
WO (1) WO2022113260A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118195922A (zh) * 2024-05-08 2024-06-14 深圳先进技术研究院 视频图像地理拼接方法、装置、计算机设备及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0659733A (ja) * 1991-09-04 1994-03-04 Nec Home Electron Ltd 自律走行ロボット及びその電源コード搬送方法
JP2011254711A (ja) 2010-06-05 2011-12-22 Zukosha:Kk 施肥マップ生成システム，その方法，産業用ヘリコプタ，サーバ，可変施肥機
JP2013230088A (ja) * 2012-04-27 2013-11-14 Mitsubishi Electric Corp 農業用管理システム
US20160216245A1 (en) * 2012-11-07 2016-07-28 Brian Harold Sutton Infrared aerial thermography for use in monitoring plant health and growth
JP2018021865A (ja) * 2016-08-05 2018-02-08 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドＳｚ Ｄｊｉ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．，Ｌｔｄ 移動体、移動体の制御方法、移動体を制御するプログラム、制御システム、及び情報処理装置
US20180156770A1 (en) * 2016-10-12 2018-06-07 Aker Technologies, Inc. System for monitoring crops and soil conditions

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3631431B2 (ja) * 2000-12-05 2005-03-23 独立行政法人科学技術振興機構 探知装置、探知方法
JP2003006612A (ja) * 2001-06-20 2003-01-10 Ntt Data Corp 収穫予測装置及び方法
US10165722B2 (en) * 2014-12-05 2019-01-01 Deere & Company Scouting systems
JP6285875B2 (ja) * 2015-01-06 2018-02-28 株式会社日立製作所 植物成長分析システム、及び植物成長分析方法
US9625904B2 (en) * 2015-03-24 2017-04-18 Southwest Research Institute Unmanned ground/aerial vehicle system having autonomous ground vehicle that remotely controls one or more aerial vehicles
JP6598154B2 (ja) * 2015-11-05 2019-10-30 株式会社Ｉｈｉエアロスペース 爆発物探知システム
TW201810185A (zh) * 2016-06-20 2018-03-16 帕戈技術股份有限公司 影像對準系統及方法
US10351237B2 (en) * 2016-07-28 2019-07-16 Qualcomm Incorporated Systems and methods for utilizing unmanned aerial vehicles to monitor hazards for users
JP6644729B2 (ja) * 2017-03-31 2020-02-12 株式会社日本総合研究所 情報処理装置、プログラム、情報処理システム及びデータ構造
JP6898589B2 (ja) * 2017-08-21 2021-07-07 コニカミノルタ株式会社 刈り取りスケジュール決定方法及び刈り取りスケジュール決定プログラム
JP6333456B1 (ja) * 2017-08-30 2018-05-30 アビームコンサルティング株式会社 生産管理装置、生産管理方法及びプログラム
JP7076969B2 (ja) * 2017-09-06 2022-05-30 株式会社トプコン 施肥を行う装置、施肥を行う方法およびプログラム
JP2019095937A (ja) * 2017-11-20 2019-06-20 ナブテスコ株式会社 農作物育成支援システム、情報収集装置、育成支援サーバ、および農作物販売支援システム
JP7225600B2 (ja) * 2018-08-10 2023-02-21 ソニーグループ株式会社 情報処理装置、情報処理方法、プログラム
US20200217830A1 (en) * 2019-01-08 2020-07-09 AgroScout Ltd. Autonomous crop monitoring system and method
JP7176980B2 (ja) * 2019-02-27 2022-11-22 株式会社日立製作所 作物管理システム及び作物管理方法
EP4125354A1 (en) * 2020-03-23 2023-02-08 Bayer Aktiengesellschaft Method, vehicle and system for weed control management

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0659733A (ja) * 1991-09-04 1994-03-04 Nec Home Electron Ltd 自律走行ロボット及びその電源コード搬送方法
JP2011254711A (ja) 2010-06-05 2011-12-22 Zukosha:Kk 施肥マップ生成システム，その方法，産業用ヘリコプタ，サーバ，可変施肥機
JP2013230088A (ja) * 2012-04-27 2013-11-14 Mitsubishi Electric Corp 農業用管理システム
US20160216245A1 (en) * 2012-11-07 2016-07-28 Brian Harold Sutton Infrared aerial thermography for use in monitoring plant health and growth
JP2018021865A (ja) * 2016-08-05 2018-02-08 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドＳｚ Ｄｊｉ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．，Ｌｔｄ 移動体、移動体の制御方法、移動体を制御するプログラム、制御システム、及び情報処理装置
US20180156770A1 (en) * 2016-10-12 2018-06-07 Aker Technologies, Inc. System for monitoring crops and soil conditions

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP4033322A4

Also Published As

Publication number Publication date
TWI771231B (zh) 2022-07-11
JPWO2022113260A1 (ja) 2022-06-02
CN114829896A (zh) 2022-07-29
JP7041794B1 (ja) 2022-03-24
EP4033322A4 (en) 2022-07-27
US20230116047A1 (en) 2023-04-13
EP4033322A1 (en) 2022-07-27
TW202221438A (zh) 2022-06-01

Similar Documents

Publication Publication Date Title
CN111316066B (zh) 用于无人飞行器的备用导航***
US20200344464A1 (en) Systems and Methods for Improving Performance of a Robotic Vehicle by Managing On-board Camera Defects
EP2772814B1 (en) Tree metrology system
US20190068829A1 (en) Systems and Methods for Improving Performance of a Robotic Vehicle by Managing On-board Camera Obstructions
Daponte et al. Metrology for drone and drone for metrology: Measurement systems on small civilian drones
AU2017345067A1 (en) Drop-off location planning for delivery vehicle
WO2020115902A1 (ja) 物品受け渡し場所の決定方法、着陸場所の決定方法、物品受け渡しシステム、及び情報処理装置
US20190110461A1 (en) Method and apparatus for identifying, locating and scaring away birds
Hansen et al. An autonomous robotic system for mapping weeds in fields
EP3761136B1 (en) Control device, mobile body, and program
Moskvitch Take off: are drones the future of farming?
CN110785355A (zh) 一种无人机测试方法、设备及存储介质
Takahashi et al. Evaluation of safe landing area determination algorithms for autonomous rotorcraft using site benchmarking
JP7041794B1 (ja) センシングシステム、センシングデータ取得方法、及び制御装置
EP3731053B1 (en) Management device, management system, moving body and program
KR20220086479A (ko) 항공기 센서 시스템 동기화
US20220201922A1 (en) Industrial machinery system, industrial machine, control apparatus, control method for industrial machinery system, and control program for industrial machinery system
US20220197314A1 (en) Travel control system, control method, and control device
JP7000505B1 (ja) センシングシステム、センシングデータ取得方法、及び無人で飛行可能な航空機
JP6637209B1 (ja) 制御方法、物品受け渡しシステム、着陸システム、及び情報処理装置
CN114253286B (zh) 飞行***、飞行路径决定方法及飞行路径决定装置
US20240168493A1 (en) Automatic Selection of Delivery Zones Using Survey Flight 3D Scene Reconstructions
US20230260410A1 (en) Information processing device, landing suitability determining method, and non-transitory computer readable memory
Bakhshande et al. What is needed to build a precision-and task-oriented drone for agricultural use: State-of-the-art and new perspectives
Collins et al. Using Flight and Field Datasets with Digital Photogrammetric Systems to Assess the Accuracy of a UAS Sensor Platform for Mapping Geospatial Input Treatment Zones

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 2021564206

Country of ref document: JP

Kind code of ref document: A

ENP Entry into the national phase

Ref document number: 2020934878

Country of ref document: EP

Effective date: 20211116

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20934878

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE