WO2020105147A1 - 飛行経路案内システム、飛行経路案内装置及び飛行経路案内方法 - Google Patents

飛行経路案内システム、飛行経路案内装置及び飛行経路案内方法

Info

Publication number
WO2020105147A1
WO2020105147A1 PCT/JP2018/043028 JP2018043028W WO2020105147A1 WO 2020105147 A1 WO2020105147 A1 WO 2020105147A1 JP 2018043028 W JP2018043028 W JP 2018043028W WO 2020105147 A1 WO2020105147 A1 WO 2020105147A1
Authority
WO
WIPO (PCT)
Prior art keywords
flight route
image
flight
unmanned aerial
aerial vehicle
Prior art date
Application number
PCT/JP2018/043028
Other languages
English (en)
French (fr)
Inventor
満 中澤
裕章 岩瀬
Original Assignee
楽天株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 楽天株式会社 filed Critical 楽天株式会社
Priority to CN201880093649.9A priority Critical patent/CN112204351A/zh
Priority to US17/042,198 priority patent/US20210118311A1/en
Priority to JP2020547431A priority patent/JP6890759B2/ja
Priority to PCT/JP2018/043028 priority patent/WO2020105147A1/ja
Publication of WO2020105147A1 publication Critical patent/WO2020105147A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/003—Navigation within 3D models or images
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G5/00—Traffic control systems for aircraft, e.g. air-traffic control [ATC]
    • G08G5/0017—Arrangements for implementing traffic-related aircraft activities, e.g. arrangements for generating, displaying, acquiring or managing traffic information
    • G08G5/0021—Arrangements for implementing traffic-related aircraft activities, e.g. arrangements for generating, displaying, acquiring or managing traffic information located in the aircraft
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64C—AEROPLANES; HELICOPTERS
    • B64C39/00—Aircraft not otherwise provided for
    • B64C39/02—Aircraft not otherwise provided for characterised by special use
    • B64C39/024—Aircraft not otherwise provided for characterised by special use of the remote controlled vehicle type, i.e. RPV
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U10/00—Type of UAV
    • B64U10/10—Rotorcrafts
    • B64U10/13—Flying platforms
    • B64U10/14—Flying platforms with four distinct rotor axes, e.g. quadcopters
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U50/00—Propulsion; Power supply
    • B64U50/10—Propulsion
    • B64U50/19—Propulsion using electrically powered motors
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C23/00—Combined instruments indicating more than one navigational value, e.g. for aircraft; Combined measuring devices for measuring two or more variables of movement, e.g. distance, speed or acceleration
    • G01C23/005—Flight directors
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G5/00—Traffic control systems for aircraft, e.g. air-traffic control [ATC]
    • G08G5/0004—Transmission of traffic-related information to or from an aircraft
    • G08G5/0013—Transmission of traffic-related information to or from an aircraft with a ground station
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G5/00—Traffic control systems for aircraft, e.g. air-traffic control [ATC]
    • G08G5/0017—Arrangements for implementing traffic-related aircraft activities, e.g. arrangements for generating, displaying, acquiring or managing traffic information
    • G08G5/0026—Arrangements for implementing traffic-related aircraft activities, e.g. arrangements for generating, displaying, acquiring or managing traffic information located on the ground
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G5/00—Traffic control systems for aircraft, e.g. air-traffic control [ATC]
    • G08G5/0047—Navigation or guidance aids for a single aircraft
    • G08G5/0052—Navigation or guidance aids for a single aircraft for cruising
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G5/00—Traffic control systems for aircraft, e.g. air-traffic control [ATC]
    • G08G5/0047—Navigation or guidance aids for a single aircraft
    • G08G5/006—Navigation or guidance aids for a single aircraft in accordance with predefined flight zones, e.g. to avoid prohibited zones
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G5/00—Traffic control systems for aircraft, e.g. air-traffic control [ATC]
    • G08G5/0047—Navigation or guidance aids for a single aircraft
    • G08G5/0069—Navigation or guidance aids for a single aircraft specially adapted for an unmanned aircraft
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U10/00—Type of UAV
    • B64U10/10—Rotorcrafts
    • B64U10/13—Flying platforms
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2201/00—UAVs characterised by their flight controls
    • B64U2201/10—UAVs characterised by their flight controls autonomous, i.e. by navigating independently from ground or air stations, e.g. by using inertial navigation systems [INS]
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2201/00—UAVs characterised by their flight controls
    • B64U2201/20—Remote controls
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U50/00—Propulsion; Power supply
    • B64U50/30—Supply or distribution of electrical power
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0141—Head-up displays characterised by optical features characterised by the informative content of the display
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/004—Annotating, labelling

Definitions

  • the present invention relates to a flight route guidance system, a flight route guidance device, and a flight route guidance method.
  • a marker image that facilitates the identification of the own device, a moving direction image that indicates the moving direction of the own device, a virtual image image such as a predicted position image that indicates a predicted position after a predetermined time is transmitted to a user for visual recognition.
  • Type head mounted display is described. According to the technique described in Patent Document 1, the user is unlikely to lose sight of his or her aircraft even when the aircraft itself moves far away or a plurality of unmanned aerial vehicles are in the field of view. In addition, it is easy to grasp the moving direction and predicted position of the own device.
  • Patent Document 2 describes operation management technology for correcting the flight route of an unmanned aerial vehicle based on weather conditions. By flying the unmanned aerial vehicle according to the flight path provided by the operation management technology described in Patent Document 2, it becomes possible to fly the unmanned aerial vehicle more safely.
  • Patent Document 1 and Patent Document 2 With the technologies described in Patent Document 1 and Patent Document 2, it is not possible for the pilot or supervisor of an unmanned aerial vehicle to simultaneously understand both the state of the unmanned aerial vehicle in flight and the flight path of the unmanned aerial vehicle. Therefore, it may be difficult for the pilot or supervisor of the unmanned aerial vehicle to know whether or not the unmanned aerial vehicle in flight can fly along the flight route. Further, even if the unmanned aerial vehicle is flying off the flight route, it may be difficult for an operator or a supervisor of the unmanned aerial vehicle to know how to return the unmanned aerial vehicle to the flight route.
  • the present invention has been made in view of the above problems, and one of the objects thereof is a flight route guidance system and a flight route guidance system capable of simultaneously grasping the state of an unmanned aerial vehicle in flight and the flight route of the unmanned aerial vehicle.
  • An object is to provide an apparatus and a flight route guidance method.
  • a flight route guidance system includes a flight route information acquisition unit that obtains flight route information indicating a flight route of an unmanned aerial vehicle in a real space, and a visual recognition position and a visual direction in the real space. Identifying means for identifying the flight path, image generating means for generating an image representing the flight path when the viewing direction is viewed from the viewing position based on the flight path information, and the viewing position in the real space. Display control means for displaying the image on the display unit in a state of being aligned with the appearance of the viewing direction.
  • the identifying means is provided in an optical transmission type head mounted display, and the image is visually recognized by a wearer of the head mounted display together with a state of viewing the viewing direction from the viewing position in the real space.
  • the visual recognition position associated with the position of the display unit to be caused to be identified and the visual recognition direction associated with the orientation of the display unit are specified.
  • the specifying unit specifies the visual recognition position associated with the position of the camera that captures the real space, and the visual recognition direction associated with the imaging direction of the camera, and the image generating unit includes the camera.
  • the flight path generated when the viewing direction is viewed from the viewing position is superimposed on the image captured by.
  • the specifying unit specifies the visual recognition position associated with the position of the camera included in the image transmission type head-mounted display, and the visual recognition direction associated with the shooting direction of the camera, and the display is performed.
  • the control means may display the image on the display unit included in the head mounted display.
  • the head mounted display may be attached to the head of the operator of the unmanned aerial vehicle.
  • a virtual space generating unit that generates a virtual space in which a virtual object representing the flight path is arranged is further included, and the specifying unit further corresponds to the visual recognition position in the real space.
  • the visual recognition position in the virtual space that is attached, and the visual recognition direction in the virtual space that is associated with the visual recognition direction in the real space are specified, and the image generation unit determines the visual recognition position from the visual recognition position in the virtual space The image representing the appearance of the viewing direction is generated.
  • the image generating means generates the image in a mode depending on whether or not the unmanned aerial vehicle is on the flight route.
  • the display control means further includes a determination means for determining whether the unmanned aerial vehicle is on the flight path, the display control means, depending on the result of the determination by the determination means, Controls whether or not to display an image in which the position where the flight path appears is corrected.
  • the determining means may determine whether or not the unmanned aerial vehicle is on the flight route based on the measured position of the unmanned aerial vehicle and the flight route information.
  • the flight route information indicates, for each of a plurality of positions on the flight route, a time at which the unmanned aerial vehicle should be located at the position, and the image generation unit, The image is further expressed with the time.
  • the image generation unit expresses, for each of a plurality of positions on the flight path, whether the time at which the unmanned aerial vehicle should be at the position is before or after the current time. Images may be generated.
  • the flight route information indicates a plurality of selectable flight routes
  • the image generating unit is configured to select the selected flight route and the unselected flight route. The image that can be distinguished from the route is generated.
  • the image generating unit represents at least one of a planned flight route of the unmanned aerial vehicle and an actual flight route of the unmanned aerial vehicle, which are indicated by the flight route information. Generate the image.
  • the flight route information acquisition unit acquires the flight route information indicating the flight routes of a plurality of the unmanned aerial vehicles
  • the image generation unit includes the plurality of the unmanned aerial vehicles. The image in which the flight path is represented is generated.
  • the image generating means may generate the image capable of distinguishing the flight path of the unmanned aerial vehicle operated by the operator who views the image from the flight path of another unmanned aerial vehicle. Good.
  • the unmanned aerial vehicle has an autonomous flight function.
  • the flight route guidance device includes a flight route information obtaining unit that obtains flight route information indicating a flight route of an unmanned aerial vehicle in a real space, and a specifying unit that specifies a visually recognized position and a visually recognizable direction in the real space.
  • An image generating unit that generates an image representing the flight path when the viewing direction is viewed from the viewing position based on the flight path information; and viewing the viewing direction from the viewing position in the real space.
  • Display control means for displaying the image on the display unit in a state of being aligned with the state.
  • a flight route guidance method includes a step of obtaining flight route information indicating a flight route of an unmanned aerial vehicle in a real space, a step of identifying a visually recognized position and a visually recognizable direction in the real space, and the flight route information.
  • FIG. 1 is a diagram showing an example of the overall configuration of a flight route guidance system 1 according to an embodiment of the present invention.
  • the flight route guidance system 1 includes a head mounted display (HMD) 10, an unmanned aerial vehicle 12, an operation management system 14, and a control terminal 16.
  • HMD head mounted display
  • unmanned aerial vehicle 12 an unmanned aerial vehicle
  • operation management system 14 an operation management system 14
  • control terminal 16 a control terminal
  • the HMD 10 is a display device that the user can wear on the head.
  • the HMD 10 according to the present embodiment is an optical transmission type (optical see-through type), and the wearer of the HMD 10 can visually recognize the state of the real space while wearing the HMD 10.
  • the HMD 10 includes a processor 20, a storage unit 22, a communication unit 24, a display unit 26, and a sensor unit 28, as shown in FIG. 2A, for example.
  • the processor 20 is a program control device such as a microprocessor that operates according to a program installed in the HMD 10, for example.
  • the storage unit 22 is, for example, a storage element such as a ROM, a RAM, or a flash memory.
  • the storage unit 22 stores programs executed by the processor 20 and the like.
  • the communication unit 24 is, for example, a communication interface such as a wireless LAN module or a Bluetooth (registered trademark) module.
  • the display unit 26 is a display that allows the wearer of the HMD 10 to visually recognize the virtual image as well as the state of the real space that is transmitted by using, for example, a half mirror.
  • the display unit 26 is arranged in front of the eyes of the wearer of the HMD 10.
  • the display unit 26 according to the present embodiment is a binocular type display capable of displaying a three-dimensional image by displaying an image for the left eye and an image for the right eye.
  • the display unit 26 may not be able to display a three-dimensional image but only a two-dimensional image.
  • the sensor unit 28 is a device including a GNSS (Global Navigation Satellite System) receiver such as a GPS (Global Positioning System), an inertial sensor such as an acceleration sensor or a gyro sensor, and a geomagnetic sensor.
  • the sensor unit 28 can measure the position and orientation of the HMD 10.
  • the sensor unit 28 may output measurement results such as the position and orientation of the HMD 10 to the processor 20 at a predetermined sampling rate.
  • the sensor unit 28 may include a camera that captures an image in the visual field range of the wearer of the HMD 10.
  • the image will be referred to as a visual field range image.
  • the HMD 10 is attached to, for example, the pilot of the unmanned aerial vehicle 12 or the head of a supervisor who supervises the pilot.
  • the unmanned aerial vehicle 12 is an aircraft on which no person is boarding, and is, for example, an unmanned aerial vehicle (so-called drone) driven by a battery or an engine.
  • an unmanned aerial vehicle so-called drone driven by a battery or an engine.
  • the unmanned aerial vehicle 12 includes a processor 30, a storage unit 32, a communication unit 34, and a sensor unit 36, as shown in FIG. 2B, for example.
  • the unmanned aerial vehicle 12 also includes general hardware such as a propeller, a motor, and a battery, they are omitted here.
  • the processor 30 is a program control device such as a microprocessor that operates according to a program installed in the unmanned aerial vehicle 12, for example.
  • the storage unit 32 is, for example, a storage element such as ROM, RAM, or flash memory.
  • the storage unit 32 stores a program executed by the processor 30 and the like.
  • the communication unit 34 is a communication interface such as a wireless LAN module or a Bluetooth module.
  • the sensor unit 36 is a device including a GNSS receiver such as GPS, an atmospheric pressure sensor, an LIDAR (Light Detection and Ranging), an altitude sensor such as a sound wave sensor, a camera, an inertial sensor, and a wind speed sensor.
  • the sensor unit 36 can measure the position and orientation of the unmanned aerial vehicle 12.
  • the sensor unit 36 may output the measurement result such as the position and orientation of the unmanned aerial vehicle 12 to the processor 30 at a predetermined sampling rate.
  • the operation management system 14 is, for example, a computer system including one or a plurality of server computers that perform operation management such as management of the flight route of the unmanned aerial vehicle 12.
  • the control terminal 16 is a device for controlling the unmanned aerial vehicle 12, for example.
  • the unmanned aerial vehicle 12 may have an autonomous flight function.
  • the operator or supervisor of the unmanned aerial vehicle 12 determines that the autonomous flight cannot fly along the planned flight route, the operator may operate the unmanned aerial vehicle 12 using the control terminal 16. ..
  • the HMD 10 may be attached to the head of a supervisor who supervises the autonomously flying unmanned aerial vehicle 12.
  • the HMD 10 may be attached to the head of the operator who operates the unmanned aerial vehicle 12 when it is determined that the HMD 10 cannot fly along the planned flight route in autonomous flight.
  • control terminal 16 and the unmanned aerial vehicle 12 can communicate with each other. Further, the HMD 10 and the control terminal 16 can communicate with each other. The HMD 10 and the operation management system 14 can communicate with each other via a network 18 such as the Internet. Note that the HMD 10 and the unmanned aerial vehicle 12 may be capable of directly communicating with each other without the control terminal 16.
  • flight route information indicating the flight route of the unmanned aerial vehicle 12 is stored in advance in the operation management system 14.
  • the flight route information may be, for example, a list of position information indicating a plurality of positions along the scheduled flight route of the unmanned aerial vehicle 12.
  • the position information may include a three-dimensional coordinate value indicating the position indicated by the position information.
  • the coordinate value representing the horizontal position is an absolute coordinate value (for example, latitude and longitude) in the earth center coordinate system used in GPS or the like.
  • the coordinate value indicating the horizontal position may be a relative coordinate value in the coordinate system with the takeoff point of the unmanned aerial vehicle 12 as a reference. ..
  • the coordinate value representing the altitude (for example, the Z coordinate value) of the three-dimensional coordinate values may be the above absolute coordinate value or the above relative coordinate value.
  • the coordinate value indicating the horizontal position is an absolute coordinate value
  • the coordinate value indicating the altitude is a relative coordinate value.
  • the wearer of the HMD 10 such as a pilot or a supervisor, is located near the takeoff point of the unmanned aerial vehicle 12, and its altitude is the sum of the altitude of the takeoff point and the height of the wearer.
  • the value indicating the height may be a predetermined value or a value input by the wearer or the like.
  • the flight route information may include time information indicating the time at which the unmanned aerial vehicle 12 should be present at each of the plurality of positions.
  • the time information indicating the time when the unmanned aerial vehicle 12 should be at the position indicated by the position information may be associated with the position information included in the flight route information.
  • flight route information is transmitted from the operation management system 14 to the HMD 10. Then, the HMD 10 generates the virtual space 40 shown in FIG. 3 based on the received flight route information.
  • the virtual space 40 shown in FIG. 3 is, for example, a virtual three-dimensional space in which a flight route object 42, which is a virtual three-dimensional object representing the flight route indicated by the flight route information, is arranged.
  • the position in the virtual space 40 is in one-to-one correspondence with the position in the real space.
  • the orientation in the virtual space 40 is associated with the orientation in the real space on a one-to-one basis.
  • the flight route object 42 may be, for example, a virtual object representing a line connecting three-dimensional coordinate values representing the position indicated by the position information in the order of the list of position information included in the flight route information.
  • the flight route object 42 is a virtual object that represents a line connecting three-dimensional coordinate values that represent the position indicated by the position information included in the flight route information in ascending order of the time indicated by the associated time information, Good.
  • the flight route object 42 has a line connecting the three-dimensional coordinate values representing the position indicated by the position information in the order of the list of the position information included in the flight route information. It may be a columnar or cylindrical virtual object.
  • the visual recognition position and visual recognition direction in the real space are specified.
  • the visual recognition position and the visual recognition direction in the real space may be specified based on the estimation result by a known estimation method.
  • the visual recognition position may be associated with the position of the wearer of the HMD 10.
  • the viewing direction may be associated with the posture of the head of the wearer of the HMD 10.
  • the visible position may be associated with the position of the display unit 26, for example.
  • the visible position may be the center position of the display unit 26.
  • the viewing direction may be associated with the orientation of the display unit 26, for example.
  • the viewing direction may be a normal line direction to the display surface of the display unit 26.
  • the visual recognition position 44 in the virtual space 40 that is associated with the visual recognition position in the real space is specified.
  • the viewing direction 46 in the virtual space 40 which is associated with the viewing direction in the real space, is specified.
  • the position in the virtual space 40 is in one-to-one correspondence with the position in the real space
  • the orientation in the virtual space 40 is in one-to-one correspondence with the orientation in the real space.
  • the visual recognition position 44 and the visual recognition direction 46 can be uniquely specified.
  • FIG. 4 is a diagram showing an example of a flight route image.
  • the flight path image shown in FIG. 4 includes an image of the flight path object 42.
  • the flight route image is displayed on the display unit 26 of the HMD 10 in a state of being aligned with the appearance of the viewing direction from the viewing position in the real space.
  • the state of being aligned means that the wearer of the HMD 10 visually recognizes the real space as if the flight path object 42 is arranged at a position where it should be, so that the flight path object 42 in the flight path image is displayed. Refers to the adjusted position.
  • the wearer of the HMD 10 can simultaneously view the flight route image displayed on the unmanned aerial vehicle 12 and the display unit 26 in the real space while the unmanned aerial vehicle 12 is flying.
  • the unmanned aerial vehicle 12 shown in FIG. 5 is a real image
  • the flight path image is a virtual image displayed on the display unit 26.
  • the visual field of the wearer of the HMD 10 that can be visually recognized through the display unit 26 may be specified based on the measurement result of the sensor unit 28 and the design value of the display unit 26. Then, the HMD 10 may determine whether or not the flight route is included in the visual field based on the visual field of the wearer and the flight route information. When it is determined that the flight route is included in the field of view, the HMD 10 may display the flight route image on the display unit 26.
  • the wearer of the HMD 10 such as the pilot of the unmanned aerial vehicle 12 or the supervisor visually recognizes the situation shown in FIG. 6, the user of the HMD 10 is flying the unmanned aerial vehicle 12 off the flight path. Can be grasped.
  • the operator or supervisor of the unmanned aerial vehicle 12 can easily understand whether or not the unmanned aerial vehicle 12 can fly along the flight route.
  • the wearer of the HMD 10 can return the unmanned aerial vehicle 12 to the flight path by moving the unmanned aerial vehicle 12 to the upper left as seen from the wearer. You can easily understand what you can do.
  • an error may be included in the estimation result of the visual recognition position and the visual recognition direction.
  • the error may occur due to not only the accuracy of the process of estimating the visual recognition position and the visual recognition direction but also the error of the position and orientation of the HMD 10 measured by the sensor unit 28 of the HMD 10 and the error of the height of the wearer. is there.
  • the orientation of the HMD 10 is specified by integrating the measurement values of the acceleration sensor or the gyro sensor, the orientation error of the HMD 10 is likely to be accumulated.
  • the unmanned aerial vehicle 12 is actually flying along the flight path indicated by the flight path information, the wearer of the HMD 10 visually recognizes that the unmanned aerial vehicle 12 is flying off the flight path.
  • the unmanned aerial vehicle 12 is actually flying along the flight path indicated by the flight path information, the wearer of the HMD 10 visually recognizes that the unmanned aerial vehicle 12 is flying off the flight path.
  • the unmanned aerial vehicle 12 may be determined whether or not the unmanned aerial vehicle 12 is on the flight route.
  • whether or not the unmanned aerial vehicle 12 is on the flight route may be determined based on the position of the unmanned aerial vehicle 12 measured by the sensor unit 36 of the unmanned aerial vehicle 12 and the flight route information. Then, depending on the result of the determination, whether or not the image in which the position showing the flight route is corrected may be controlled.
  • the correction may not be performed.
  • the image displayed on the display unit 26 may be corrected as shown in FIG. 7.
  • correction such as translation or rotation may be performed on the generated flight path image.
  • the correction may be performed based on, for example, the relationship between the camera of the HMD 10 and the display unit 26 that has been calibrated in advance, the view range image, and the position where the unmanned aerial vehicle 12 should be at the current time in the flight route image. Good.
  • the flight route image may be corrected so that the position in the flight route image where the unmanned aerial vehicle 12 should be at the current time matches the position of the unmanned aerial vehicle 12 in the view range image.
  • the position closest to the position of the unmanned aerial vehicle 12 in the view range image on the flight route shown in the flight route image may be specified. Then, the flight route image may be corrected so that the position on the flight route in the flight route image thus identified matches the position of the unmanned aerial vehicle 12 in the view range image.
  • a new flight route image may be generated after correcting the visual recognition position 44 and the visual recognition direction 46.
  • the person who wears the HMD 10 is flying the unmanned aerial vehicle 12 along the flight path. Can be grasped.
  • FIG. 8 is a functional block diagram showing an example of functions implemented in the HMD 10 according to this embodiment. It should be noted that the HMD 10 according to the present embodiment does not need to have all the functions shown in FIG. 8 installed, and may have functions other than the functions shown in FIG.
  • the flight route information acquisition unit 50 functionally, for example, the flight route information acquisition unit 50, the virtual space generation unit 52, the real space position / direction specifying unit 54, the virtual space position / direction specifying unit 56.
  • a flight route image generation unit 58, a display control unit 60, and a determination unit 62 are included.
  • the flight route information acquisition unit 50 is implemented mainly by the processor 20 and the communication unit 24.
  • the virtual space generation unit 52, the virtual space position / direction specification unit 56, the flight route image generation unit 58, and the determination unit 62 are implemented mainly by the processor 20.
  • the real space position / direction specifying unit 54 is mainly mounted on the processor 20 and the sensor unit 28.
  • the display control unit 60 is mainly mounted on the processor 20 and the display unit 26.
  • the above functions may be implemented by executing a program, which is installed in the HMD 10 that is a computer and includes instructions corresponding to the above functions, in the processor 20. Further, this program may be supplied to the HMD 10 via a computer-readable information storage medium such as an optical disk, a magnetic disk, a magnetic tape, a magneto-optical disk, or via the Internet or the like.
  • a program which is installed in the HMD 10 that is a computer and includes instructions corresponding to the above functions, in the processor 20. Further, this program may be supplied to the HMD 10 via a computer-readable information storage medium such as an optical disk, a magnetic disk, a magnetic tape, a magneto-optical disk, or via the Internet or the like.
  • the flight route information acquisition unit 50 acquires, for example, flight route information indicating the flight route of the unmanned aerial vehicle 12 in the real space.
  • the flight route information acquisition unit 50 may acquire flight route information indicating the planned flight route of the unmanned aerial vehicle 12.
  • the flight route information may include, for example, a list of three-dimensional coordinate values representing a plurality of positions along the planned flight route of the unmanned aerial vehicle 12.
  • the flight route information may include, for each of a plurality of positions on the flight route, time information indicating the time at which the unmanned aerial vehicle 12 should be at the position.
  • the flight route information acquisition unit 50 may receive the flight route information transmitted from the operation management system 14. The flight route information acquisition unit 50 may also acquire the flight route information stored in advance in the storage unit 22 of the HMD 10.
  • the flight route information acquisition unit 50 may also acquire flight route information indicating the actual flight route of the unmanned aerial vehicle 12.
  • the communication unit 34 of the unmanned aerial vehicle 12 repeatedly transmits position information, which is measured by the sensor unit 36 of the unmanned aerial vehicle 12 and indicates the actual position and direction of the unmanned aerial vehicle 12, to the HMD 10 at predetermined time intervals.
  • the flight route information acquisition unit 50 may receive a series of position information transmitted from the unmanned aerial vehicle 12 at predetermined time intervals as flight route information indicating the actual flight route of the unmanned aerial vehicle 12.
  • the flight route information may be received by the HMD 10 via the control terminal 16 or may be directly received by the HMD 10 from the unmanned aerial vehicle 12.
  • the virtual space generation unit 52 generates the virtual space 40 in which virtual objects associated with flight routes are arranged.
  • a virtual space 40 in which a flight route object 42 representing the flight route indicated by the flight route information acquired by the flight route information acquisition unit 50 is arranged may be generated.
  • the real space position / direction specifying unit 54 specifies, for example, a visual recognition position and a visual recognition direction in the real space.
  • the real space position / direction specifying unit 54 associates a visual position viewed from the visual position in the real space with a visual position associated with the position of the display unit 26 that allows the wearer of the HMD 10 to visually recognize the flight route image, and a display. You may specify the visual recognition direction matched with the direction of the part 26.
  • the virtual space position / direction specifying unit 56 specifies the visible position 44 in the virtual space 40 that is associated with the visible position in the real space specified by the real space position / direction specifying unit 54. Further, in the present embodiment, for example, the virtual space position / direction identifying unit 56 identifies the viewing direction 46 in the virtual space 40 that is associated with the viewing direction in the real space identified by the real space position / direction identifying unit 54.
  • the flight route image generation unit 58 represents, for example, the flight route when the viewing direction in the real space is viewed from the viewing position in the real space based on the flight route information, as shown in FIG. Generate a flight path image.
  • the flight route image generation unit 58 may generate a flight route image showing a state where the viewing direction 46 in the virtual space 40 is viewed from the viewing position 44 in the virtual space 40.
  • the flight route image generation unit 58 may generate a flight route image in which, for each of the plurality of positions on the flight route, the time at which the unmanned aerial vehicle 12 should be located is further expressed.
  • a flight route image in which visibility such as color, brightness, and transparency differs depending on the time described above may be generated. For example, when the time indicated by the associated time information is earlier, the visibility is lower (for example, lighter), and the later is higher visibility (for example, darker). Good. This makes it easier for the wearer of the HMD 10 to understand the flight route at a later time.
  • the flight route image generation unit 58 may also generate a flight route image according to the current time.
  • the flight route image generation unit 58 expresses, for each of the plurality of positions on the flight route, whether the time when the unmanned aerial vehicle 12 should be at the position is before or after the current time. Images may be generated. For example, a flight route image before the current time may have lower visibility than a flight route after the current time may be generated. Alternatively, a flight route image that is not expressed for the flight route before the current time may be generated. Further, a flight route image in which the marker image is arranged at the position where the unmanned aerial vehicle 12 should be at the current time may be generated. In this way, the wearer of the HMD 10 can know the position where the unmanned aerial vehicle 12 should be at the current time. Further, the wearer of the HMD 10 can more easily understand the route along which the unmanned aerial vehicle 12 should fly.
  • the flight route image generation unit 58 expresses at least one of the planned flight route of the unmanned aerial vehicle 12 and the actual flight route of the unmanned aerial vehicle 12 (history of the actual flight route) indicated by the flight route information.
  • a route image may be generated.
  • the flight route image generation unit 58 may generate a flight route image in which an actual flight route is expressed, in addition to the scheduled flight route of the unmanned aerial vehicle 12 or in place of the scheduled flight route. ..
  • a flight route image capable of distinguishing the planned flight route and the actual flight route may be generated.
  • a flight route image having different visibility between the planned flight route and the actual flight route may be generated.
  • the display control unit 60 causes the display unit 26 to display the flight route image in a state where the flight route image is aligned with the state where the viewing direction is viewed from the viewing position in the real space. That is, the flight is performed with the position of the flight route object 42 in the flight route image adjusted so that the wearer of the HMD 10 can visually recognize the real space as if the flight route object 42 were arranged at the correct position.
  • the route image is displayed on the display unit 26.
  • the display control unit 60 may cause the display unit 26 to display the flight route image generated by the flight route image generation unit 58.
  • the display control unit 60 displays the speed of the unmanned aerial vehicle 12, the position of the unmanned aerial vehicle 12 (latitude, longitude, altitude, etc.), the distance from the operator to the unmanned aerial vehicle 12, the distance to the destination, and the battery. Information about the unmanned aerial vehicle 12, such as the remaining amount, may be displayed.
  • the determination unit 62 determines whether or not the unmanned aerial vehicle 12 is on the flight route, for example.
  • the determination unit 62 may determine whether or not the unmanned aerial vehicle 12 is on the flight route based on the measured position of the unmanned aerial vehicle 12 and the flight route information.
  • the position of unmanned aerial vehicle 12 may be measured by sensor unit 28 of unmanned aerial vehicle 12.
  • the display control unit 60 may control whether or not to display the image in which the position showing the flight route is corrected according to the result of the determination by the determination unit 62.
  • the flight route image generation unit 58 may generate the corrected flight route image.
  • the flight route image generation unit 58 may generate a new flight route image after correcting the viewing position 44 and the viewing direction 46.
  • the display control unit 60 may correct the flight path image generated by the flight path image generation unit 58 such as translation or rotation.
  • the flight route image is displayed on the display unit 26 at a predetermined frame rate. Then, it is assumed that the processing shown in S101 to S110 is repeatedly executed at the predetermined frame rate.
  • the real space position / direction identifying unit 54 identifies the visual recognition position in the real space and the visual recognition direction in the real space (S101).
  • the virtual space position / direction specifying unit 56 specifies the visual recognition position 44 in the virtual space 40 and the visual recognition direction 46 in the virtual space 40 (S102).
  • the visual recognition position 44 in the virtual space 40 associated with the visual recognition position in the real space specified in the process shown in S101 is specified.
  • the viewing direction 46 in the virtual space 40 associated with the viewing direction in the real space specified in the process of S101 is specified.
  • the flight route image generation unit 58 generates a flight route image showing a state where the viewing direction 46 in the virtual space 40 is viewed from the viewing position 44 in the virtual space 40 (S103).
  • the determination unit 62 acquires the visual field range image captured by the camera included in the HMD 10 (S104).
  • the determination unit 62 identifies the position of the unmanned aerial vehicle 12 in the view range image acquired by the process shown in S104 by using a known image recognition technique (S105).
  • the determination unit 62 causes the unmanned aerial vehicle 12 to fly to the wearer of the HMD 10 based on the flight route image generated in the process of S103 and the position of the unmanned aerial vehicle 12 identified in the process of S105. It is determined whether or not the image is visually recognized as if it is off (S106).
  • the determination is performed by the relationship between the camera and the display unit 26 included in the pre-calibrated HMD 10, the position of the unmanned aerial vehicle 12 detected from the view range image, and the flight path represented in the generated flight path image. , May be used.
  • the flight route information acquisition unit 50 When it is determined that the wearer of the HMD 10 visually recognizes the unmanned aerial vehicle 12 as if it is off the flight route (S106: Y), the flight route information acquisition unit 50 outputs position information indicating the current position of the unmanned aerial vehicle 12. It is acquired (S107).
  • the flight route information acquisition unit 50 may request the unmanned aerial vehicle 12 to transmit the position information indicating the current position. Then, the flight route information acquisition unit 50 may receive position information indicating the current position of the unmanned aerial vehicle 12, which is transmitted by the unmanned aerial vehicle 12 in response to the request.
  • the position information may be received by the HMD 10 via the control terminal 16 or may be directly received by the HMD 10 from the unmanned aerial vehicle 12.
  • the flight route information acquisition unit 50 may acquire the position information indicating the current position from the position information repeatedly transmitted from the unmanned aerial vehicle 12 as the flight route information.
  • the determination unit 62 determines whether or not the unmanned aerial vehicle 12 is on the flight route based on the position information and the flight route information acquired in the process shown in S107 (S108).
  • the distance between and may be specified. If the value indicating the specified distance is equal to or less than the predetermined threshold value, it may be determined that the unmanned aerial vehicle 12 is on the flight route.
  • the method for determining whether or not the unmanned aerial vehicle 12 is on the flight route is not limited to the above example. For example, even if the distance between the position represented by the three-dimensional coordinate value indicated by the position information acquired in the process of S107 and the line indicating the flight route specified based on the flight route information is specified. Good. Then, when the value indicating the specified distance is equal to or less than the predetermined threshold value, it may be determined that the unmanned aerial vehicle 12 is on the flight route.
  • different thresholds may be used in the horizontal direction (for example, X coordinate value and Y coordinate value) and the height direction (for example, Z coordinate value).
  • the horizontal direction for example, X coordinate value and Y coordinate value
  • the height direction for example, Z coordinate value
  • a point on the two-dimensional plane represented by the XY coordinate value of the power position may be specified.
  • the distance between the two points may be specified as the first distance.
  • the point on the one-dimensional straight line represented by the Z coordinate value indicated by the position information acquired in the process of S107 and the unmanned aerial vehicle 12 represented by the three-dimensional coordinate value in the flight route information at the current time may be specified.
  • the distance between the two points may be specified as the second distance.
  • the display control unit 60 When it is determined that the unmanned aerial vehicle 12 is on the flight route (S108: Y), the display control unit 60 performs the flight route on the flight route image generated by the process shown at S103 as shown in FIG. The image in which the position where is displayed is corrected is displayed (S109).
  • the display control unit 60 displays the flight route image generated by the process of S103 (S110).
  • the display control unit 60 similarly generates in the process of S103.
  • the selected flight route image is displayed (S110).
  • the process shown in S110 corresponds to an example of a process of displaying the flight route image on the display unit 26 in a state of being aligned with a state where the viewing direction is viewed from the viewing position in the real space.
  • the processing shown in S104 to S106 may not be executed.
  • the process shown in S107 may be executed after the process shown in S103.
  • the process of S110 may be executed after the process of S103.
  • the flight route information may indicate a plurality of selectable flight routes.
  • flight route information includes flight routes that can be selected at this time and flight routes that can be selected in the future but cannot be selected at this time (for example, areas that are not safe at present but are planned to become safe in the future). (Eg, flight path through) may be shown.
  • the flight route information may indicate a flight route branched from one flight route into a plurality of routes.
  • the flight route image generation unit 58 when the flight route information indicates a plurality of flight routes, the flight route image generation unit 58 generates a flight route image capable of distinguishing between the selected flight route and the non-selected flight route. You may. For example, flight route images with different visibility may be generated for the selected flight route and the non-selected flight route. For example, a flight route image in which the currently selected flight route has higher visibility than the flight route not selected may be generated. In addition, a flight route image in which a flight route that can be selected at the present time has higher visibility than a flight route that cannot be selected may be generated.
  • the flight route image generation unit 58 may generate a flight route image in a mode depending on whether or not the unmanned aerial vehicle 12 is on the flight route. For example, when it is determined that the unmanned aerial vehicle 12 is on the flight path, a flight path image including a marker indicating that the unmanned aerial vehicle 12 is flying along the flight path may be generated. When it is determined that the unmanned aerial vehicle 12 is not on the flight route, a flight route image including a marker indicating that the unmanned aerial vehicle 12 is flying off the flight route may be generated. Both the marker indicating that the unmanned aerial vehicle 12 is flying along the flight path and the marker indicating that the unmanned aerial vehicle 12 is flying off the flight path may be arranged, or one of them may be arranged. It may be arranged.
  • the colors are different. It is desirable that these markers can be identified in this way.
  • the marker may be arranged at a position in the flight route image that is associated with the position where the unmanned aerial vehicle 12 should be at the current time in the real space.
  • the flight route image generation unit 58 may generate an image including the image of the flight route object 42 and the above-described marker as an image representing the flight route when the viewing direction is viewed from the viewing position.
  • the flight route image generation unit 58 may generate an image that does not include the image of the flight route object 42 but includes only the above-described marker, as an image that represents the flight route when the viewing direction is viewed from the viewing position. ..
  • the flight route information acquisition unit 50 may also acquire flight route information indicating flight routes of a plurality of unmanned aerial vehicles 12. Then, the flight route image generation unit 58 may generate a flight route image in which the flight routes of the plurality of unmanned aerial vehicles 12 are expressed.
  • the flight route image generation unit 58 may generate flight route images in which the visibility of each flight route of the plurality of unmanned aircraft 12 is different.
  • the flight route image generation unit 58 identifies the flight route of the unmanned aerial vehicle 12 and the flight route of the other unmanned aerial vehicle 12, which is operated by the operator who is the wearer of the HMD 10, that is, the operator who views the flight route image. Possible flight path images may be generated.
  • a flight route image in which the flight route of the unmanned aerial vehicle 12 operated by the driver who wears the HMD 10 is higher than the flight routes of other unmanned aerial vehicles 12 may be generated.
  • a flight route image in which the flight route of the unmanned aerial vehicle 12 operated by the operator who wears the HMD 10 is lower than the visibility of the flight routes of the other unmanned aerial vehicles 12 may be generated.
  • the wearer of the HMD 10 can anticipate the possibility of contact between the unmanned aerial vehicle 12 operated by the HMD 10 and another unmanned aerial vehicle 12. Therefore, it is possible to reduce the possibility that the unmanned aerial vehicle 12 operated by itself and another unmanned aerial vehicle 12 will come into contact with each other.
  • the position of the unmanned aerial vehicle 12 is detected in the visual field range image captured by the camera of the HMD 10, and the relationship between the position of the unmanned aerial vehicle 12 and the position of the HMD 10 is estimated. You may do it. By doing so, the position of the wearer of the HMD 10 in the coordinate system based on the takeoff point of the unmanned aerial vehicle 12 can be estimated with higher accuracy.
  • the flight route image generation unit 58 may generate a flight route image depending on whether the unmanned aerial vehicle 12 is in front of or behind the flight route as viewed from the visual recognition position.
  • the camera included in the HMD 10 is a camera including a distance measuring unit that can measure the distance to the unmanned aerial vehicle 12.
  • whether the unmanned aerial vehicle 12 is in front of or behind the flight route as viewed from the visual recognition position. May be determined.
  • a flight route image in which the flight route is expressed in red may be generated.
  • a flight route image in which the flight route is expressed in yellow may be generated.
  • a flight route image in which the flight route is expressed in blue is generated. Good.
  • the position of an object such as an obstacle may be specified by executing image recognition on an image captured by the camera.
  • a flight route image may be generated according to whether or not an object such as an obstacle or a person intersects the flight route. For example, a red flight route image may be generated when an object such as an obstacle or a person intersects the flight route, and a blue flight route image may be generated otherwise.
  • a flight path image may be generated in which a portion intersecting with an object such as an obstacle is red and other portions are blue.
  • the present invention is not limited to the above embodiment.
  • the HMD 10 is an optical transmissive (optical see-through) HMD 10, but the present invention is applicable even when the HMD 10 is a video transmissive (video see-through) HMD 10.
  • the real space position / direction specifying unit 54 may specify the visual recognition position associated with the position of the camera included in the video transmission HMD 10, and the visual recognition direction associated with the shooting direction of the camera.
  • the camera is, for example, a camera that takes a picture of the front of the HMD 10.
  • the flight route image generation unit 58 may generate a flight route image in which the flight route when the viewing direction is viewed from the viewing position is superimposed on the image captured by the camera. For example, an image in which the flight route image shown in FIG.
  • the flight route image generated in this manner is an example of an image in which the state of the real space and the flight route are expressed in a state of being aligned with the state of viewing in the viewing direction from the viewing position in the real space.
  • the display control unit 60 may display the flight route image on the display unit 26 included in the video transmission type HMD 10. By doing so, the flight route image is displayed on the display unit 26 in a state of being aligned with the state where the viewing direction is viewed from the viewing position in the real space.
  • the scope of application of the present invention is not limited to the HMD10.
  • a scene in which an operator or a supervisor of the unmanned aerial vehicle 12 visually recognizes a display other than the HMD 10 in which an image captured by a camera arranged in a real space and an image in which the flight route image shown in FIG. 4 is superimposed are displayed.
  • the present invention is also applicable to.
  • the camera and the display may be separated.
  • the real space position / direction specifying unit 54 may specify the visual recognition position associated with the position of the camera and the visual recognition direction associated with the shooting direction of the camera.
  • the flight route image generation unit 58 may generate an image in which the flight route when the viewing direction is viewed from the viewing position is superimposed on the image captured by the camera.
  • the display control unit 60 may display the flight route image on a display other than the HMD 10.
  • FIG. 8 some or all of the functions shown in FIG. 8 may be implemented in the unmanned aerial vehicle 12, the operation management system 14, or the control terminal 16.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Theoretical Computer Science (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Optics & Photonics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Mechanical Engineering (AREA)
  • Navigation (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)
  • Traffic Control Systems (AREA)

Abstract

飛行中の無人航空機の様子と当該無人航空機の飛行経路とを同時に把握できる飛行経路案内システム、飛行経路案内装置及び飛行経路案内方法を提供する。飛行経路情報取得部（５０）は、実空間における無人航空機の飛行経路を示す飛行経路情報を取得する。実空間位置方向特定部（５４）は、実空間における視認位置及び視認方向を特定する。飛行経路画像生成部（５８）は、飛行経路情報に基づいて、視認位置から視認方向を見た際の飛行経路が表現された飛行経路画像を生成する。表示制御部（６０）は、実空間において視認位置から視認方向を見た様子と位置合わせされた状態で飛行経路画像を表示部に表示させる。

Description

飛行経路案内システム、飛行経路案内装置及び飛行経路案内方法
　本発明は、飛行経路案内システム、飛行経路案内装置及び飛行経路案内方法に関する。
　特許文献１には、自機の識別を容易にするマーカ画像、自機の移動方向を示す移動方向画像、所定時間後の予測位置を示す予測位置画像などの虚像画像を使用者に視認させる透過型のヘッドマウントディスプレイが記載されている。特許文献１に記載されている技術によれば、自機が遠くへ移動したり、複数の無人航空機が視野にあったりする場合であっても、使用者が自機を見失いにくい。また、自機の移動方向や予測位置などの把握も容易である。
　特許文献２には、気象条件に基づいて、無人航空機の飛行経路を補正する運行管理技術が記載されている。特許文献２に記載されている運行管理技術により提供される飛行経路に従って無人航空機を飛行させることで、より安全に無人航空機を飛行させることが可能となる。
特開２０１８－１１２８０９号公報 特開２０１８－０８１６７５号公報
　特許文献１や特許文献２に記載されている技術では、飛行中の無人航空機の様子と当該無人航空機の飛行経路との両方を無人航空機の操縦者や監督者などが同時に把握できない。そのため、無人航空機の操縦者や監督者などが、飛行中の無人航空機が飛行経路通りに飛行できているか否かを把握することが難しいことがある。また飛行経路から外れて無人航空機が飛行していてもどのようにすれば当該無人航空機を飛行経路に戻すことできるかを無人航空機の操縦者や監督者などが把握することが難しいことがある。
　本発明は、上記課題に鑑みてなされたものであって、その目的の一つは、飛行中の無人航空機の様子と当該無人航空機の飛行経路とを同時に把握できる飛行経路案内システム、飛行経路案内装置及び飛行経路案内方法を提供することにある。
　上記課題を解決するために、本発明に係る飛行経路案内システムは、実空間における無人航空機の飛行経路を示す飛行経路情報を取得する飛行経路情報取得手段と、前記実空間における視認位置及び視認方向を特定する特定手段と、前記飛行経路情報に基づいて、前記視認位置から前記視認方向を見た際の前記飛行経路が表現された画像を生成する画像生成手段と、前記実空間において前記視認位置から前記視認方向を見た様子と位置合わせされた状態で前記画像を表示部に表示させる表示制御手段と、を含む。
　本発明の一態様では、前記特定手段は、光学透過型のヘッドマウントディスプレイが備える、前記実空間において前記視認位置から前記視認方向を見た様子とともに前記画像を当該ヘッドマウントディスプレイの装着者に視認させる前記表示部の位置に対応付けられる前記視認位置、及び、当該表示部の向きに対応付けられる前記視認方向を特定する。
　あるいは、前記特定手段は、前記実空間を撮影するカメラの位置に対応付けられる前記視認位置、及び、当該カメラの撮影方向に対応付けられる前記視認方向を特定し、前記画像生成手段は、前記カメラにより撮影される画像に前記視認位置から前記視認方向を見た際の前記飛行経路が重畳された前記画像を生成する。
　この態様では、前記特定手段は、映像透過型のヘッドマウントディスプレイが備える前記カメラの位置に対応付けられる前記視認位置、及び、当該カメラの撮影方向に対応付けられる前記視認方向を特定し、前記表示制御手段は、前記ヘッドマウントディスプレイが備える前記表示部に前記画像を表示させてもよい。
　また、前記ヘッドマウントディスプレイは、前記無人航空機の操縦者の頭部に装着されていてもよい。
　また、本発明の一態様では、前記飛行経路を表す仮想オブジェクトが配置された仮想空間を生成する仮想空間生成手段、をさらに含み、前記特定手段は、さらに、前記実空間における前記視認位置に対応付けられる前記仮想空間における視認位置、及び、前記実空間における前記視認方向に対応付けられる前記仮想空間における視認方向を特定し、前記画像生成手段は、前記仮想空間における前記視認位置から前記仮想空間における前記視認方向を見た様子を表す前記画像を生成する。
　また、本発明の一態様では、前記画像生成手段は、前記無人航空機が前記飛行経路上にあるか否かに応じた態様の前記画像を生成する。
　また、本発明の一態様では、前記無人航空機が前記飛行経路上にあるか否かを判定する判定手段、をさらに含み、前記表示制御手段は、前記判定手段による判定の結果に応じて、前記飛行経路が表れている位置が補正された画像を表示させるか否かを制御する。
　この態様では、前記判定手段は、計測される前記無人航空機の位置と前記飛行経路情報とに基づいて、前記無人航空機が前記飛行経路上にあるか否かを判定してもよい。
　また、本発明の一態様では、前記飛行経路情報には、前記飛行経路上の複数の位置のそれぞれについて、当該位置に前記無人航空機があるべき時刻が示されており、前記画像生成手段は、前記時刻がさらに表現された前記画像を生成する。
　この態様では、前記画像生成手段は、前記飛行経路上の複数の位置のそれぞれについて、当該位置に前記無人航空機があるべき時刻が現在時刻よりも前であるか後であるかが表現された前記画像を生成してもよい。
　また、本発明の一態様では、前記飛行経路情報には、選択可能な複数の前記飛行経路が示されており、前記画像生成手段は、選択されている前記飛行経路と選択されていない前記飛行経路とを識別可能な前記画像を生成する。
　また、本発明の一態様では、前記画像生成手段は、前記飛行経路情報が示す、前記無人航空機の予定の飛行経路、及び、前記無人航空機の実際の飛行経路のうちの少なくとも一方が表現された前記画像を生成する。
　また、本発明の一態様では、前記飛行経路情報取得手段は、複数の前記無人航空機の前記飛行経路を示す前記飛行経路情報を取得し、前記画像生成手段は、前記複数の前記無人航空機の前記飛行経路が表現された前記画像を生成する。
　この態様では、前記画像生成手段は、前記画像を見る操縦者が操縦している前記無人航空機の前記飛行経路と他の前記無人航空機の前記飛行経路とを識別可能な前記画像を生成してもよい。
　また、本発明の一態様では、前記無人航空機は、自律飛行機能を備える。
　また、本発明に係る飛行経路案内装置は、実空間における無人航空機の飛行経路を示す飛行経路情報を取得する飛行経路情報取得手段と、前記実空間における視認位置及び視認方向を特定する特定手段と、前記飛行経路情報に基づいて、前記視認位置から前記視認方向を見た際の前記飛行経路が表現された画像を生成する画像生成手段と、前記実空間において前記視認位置から前記視認方向を見た様子と位置合わせされた状態で前記画像を表示部に表示させる表示制御手段と、を含む。
　また、本発明に係る飛行経路案内方法は、実空間における無人航空機の飛行経路を示す飛行経路情報を取得するステップと、前記実空間における視認位置及び視認方向を特定するステップと、前記飛行経路情報に基づいて、前記視認位置から前記視認方向を見た際の前記飛行経路が表現された画像を生成するステップと、前記実空間において前記視認位置から前記視認方向を見た様子と位置合わせされた状態で前記画像を表示部に表示させるステップと、を含む。
本発明の一実施形態に係る飛行経路案内システムの全体構成の一例を示す図である。 本発明の一実施形態に係るヘッドマウントディスプレイの構成の一例を示す図である。 本発明の一実施形態に係る無人航空機の構成の一例を示す図である。 仮想空間の一例を示す図である。 飛行経路画像の一例を示す図である。 ヘッドマウントディスプレイの装着者により視認される、実空間にある無人航空機及び表示部に表示される飛行経路画像の一例を示す図である。 ヘッドマウントディスプレイの装着者により視認される、実空間にある無人航空機及び表示部に表示される飛行経路画像の別の一例を示す図である。 ヘッドマウントディスプレイの装着者により視認される、実空間にある無人航空機及び表示部に表示される飛行経路画像のさらに別の一例を示す図である。 本発明の一実施形態に係るヘッドマウントディスプレイで実装される機能の一例を示す機能ブロック図である。 本発明の一実施形態に係るヘッドマウントディスプレイにおいて行われる処理の流れの一例を示すフロー図である。
　以下、本発明の一実施形態について、図面を参照しながら説明する。
　図１は、本発明の一実施形態に係る飛行経路案内システム１の全体構成の一例を示す図である。図１に示すように、本実施形態に係る飛行経路案内システム１には、ヘッドマウントディスプレイ（ＨＭＤ）１０、無人航空機１２、運行管理システム１４、及び、操縦端末１６が含まれる。
　ＨＭＤ１０は、ユーザが頭部に装着可能なディスプレイ装置である。なお以下の説明では、本実施形態に係るＨＭＤ１０は、光学透過型（オプティカルシースルー型）であり、ＨＭＤ１０の装着者は装着している状態で実空間の様子を視認可能であることとする。
　本実施形態に係るＨＭＤ１０には、例えば図２Ａに示すように、プロセッサ２０、記憶部２２、通信部２４、表示部２６、センサ部２８、が含まれる。
　プロセッサ２０は、例えばＨＭＤ１０にインストールされるプログラムに従って動作するマイクロプロセッサ等のプログラム制御デバイスである。
　記憶部２２は、例えばＲＯＭ、ＲＡＭ、フラッシュメモリ等の記憶素子などである。記憶部２２には、プロセッサ２０によって実行されるプログラムなどが記憶される。
　通信部２４は、例えば無線ＬＡＮモジュールやブルートゥース（登録商標）モジュールなどの通信インタフェースである。
　表示部２６は、例えばハーフミラーなどを利用することで、透過される実空間の様子とともに虚像画像をＨＭＤ１０の装着者に視認させることができるディスプレイである。表示部２６は、ＨＭＤ１０の装着者の眼前に配置される。また本実施形態に係る表示部２６は、例えば左目用の画像と右目用の画像を表示することによって三次元画像を表示させることができる両眼タイプのディスプレイである。なお表示部２６は三次元画像の表示ができず二次元画像の表示のみができるものであっても構わない。
　センサ部２８は、例えばＧＰＳ（Global Positioning System）等のＧＮＳＳ（Global Navigation Satellite System）受信機、加速度センサやジャイロセンサ等の慣性センサ、地磁気センサなどを含むデバイスである。センサ部２８は、ＨＭＤ１０の位置や姿勢を計測可能である。センサ部２８は、ＨＭＤ１０の位置や姿勢などの計測結果を所定のサンプリングレートで、プロセッサ２０に出力してもよい。またセンサ部２８に、ＨＭＤ１０の装着者の視野範囲の画像を撮影するカメラが含まれていてもよい。以下、当該画像を視野範囲画像と呼ぶこととする。
　ＨＭＤ１０は、例えば、無人航空機１２の操縦者や、当該操縦者を監督する監督者の頭部に装着される。
　無人航空機１２は、人が搭乗しない航空機であり、例えば、バッテリーやエンジンで駆動する無人航空機（いわゆるドローン）である。
　本実施形態に係る無人航空機１２には、例えば図２Ｂに示すように、プロセッサ３０、記憶部３２、通信部３４、センサ部３６、が含まれる。なお、無人航空機１２には、プロペラ、モーター、バッテリーなどの一般的なハードウェアも含まれるが、ここでは省略している。
　プロセッサ３０は、例えば無人航空機１２にインストールされるプログラムに従って動作するマイクロプロセッサ等のプログラム制御デバイスである。
　記憶部３２は、例えばＲＯＭ、ＲＡＭ、フラッシュメモリ等の記憶素子などである。記憶部３２には、プロセッサ３０によって実行されるプログラムなどが記憶される。
　通信部３４は、例えば無線ＬＡＮモジュールやブルートゥースモジュールなどの通信インタフェースである。
　センサ部３６は、例えばＧＰＳ等のＧＮＳＳ受信機、気圧センサ、ＬＩＤＡＲ(Light Detection and Ranging)、音波センサ等の高度センサ、カメラ、慣性センサ、風速センサなどを含むデバイスである。センサ部３６は、無人航空機１２の位置や姿勢を計測可能である。センサ部３６は、無人航空機１２の位置や姿勢などの計測結果を所定のサンプリングレートで、プロセッサ３０に出力してもよい。
　本実施形態に係る運行管理システム１４は、例えば、無人航空機１２の飛行経路の管理などの運行管理を行う、１又は複数のサーバコンピュータ等から構成されるコンピュータシステムである。
　本実施形態に係る操縦端末１６は、例えば無人航空機１２を操縦するための機器である。
　本実施形態に係る無人航空機１２が自律飛行機能を備えていてもよい。そしてこの場合、無人航空機１２の操縦者や監督者が自律飛行では予定飛行経路通りに飛行できないと判断した場合に、操縦者が操縦端末１６を用いて無人航空機１２を操縦するようにしてもよい。この場合、ＨＭＤ１０が、自律飛行している無人航空機１２を監督する監督者の頭部に装着されていてもよい。あるいは、ＨＭＤ１０が、自律飛行では予定飛行経路通りに飛行できないと判断した場合に無人航空機１２を操縦する操縦者の頭部に装着されていてもよい。
　図１に示すように、操縦端末１６と無人航空機１２とは互いに通信可能となっている。またＨＭＤ１０と操縦端末１６とは互いに通信可能となっている。またＨＭＤ１０と運行管理システム１４とは、インターネット等のネットワーク１８を介して互いに通信可能となっている。なおＨＭＤ１０と無人航空機１２とは、操縦端末１６を介さずに直接互いに通信可能でも構わない。
　本実施形態では例えば、運行管理システム１４に、無人航空機１２の飛行経路を示す飛行経路情報が予め記憶されている。飛行経路情報は、例えば、無人航空機１２の予定の飛行経路に沿った複数の位置を示す位置情報のリストであってもよい。ここで位置情報が、当該位置情報が示す位置を表す三次元座標値を含んでいてもよい。
　当該三次元座標値のうち水平位置を表す座標値（例えばＸ座標値及びＹ座標値）は、ＧＰＳ等で用いられる地球中心座標系などにおける絶対的な座標値（例えば緯度及び経度）であってもよい。また、当該三次元座標値のうち水平位置を表す座標値（例えばＸ座標値及びＹ座標値）は、無人航空機１２の離陸地点を基準とした座標系における相対的な座標値であってもよい。同様に、当該三次元座標値のうち高度を表す座標値（例えばＺ座標値）についても上述の絶対的な座標値であってもよいし上述の相対的な座標値であってもよい。以下の説明では、水平位置を表す座標値は絶対的な座標値であり、高度を表す座標値は相対的な座標値であることとする。また操縦者や監督者などのＨＭＤ１０の装着者は、無人航空機１２の離陸地点付近に位置し、その高度は離陸地点の高度と装着者の身長との和であることとする。ここで当該身長を示す値は、所定値であってもよいし装着者等により入力される値であってもよい。
　また飛行経路情報に、複数の位置のそれぞれについての、当該位置に無人航空機１２があるべき時刻が示された時刻情報が含まれていてもよい。例えば飛行経路情報に含まれる位置情報に、当該位置情報が示す位置に無人航空機１２があるべき時刻を示す時刻情報が関連付けられていてもよい。
　そして本実施形態では例えば、飛行経路情報が運行管理システム１４からＨＭＤ１０に送信される。そしてＨＭＤ１０が、受信した飛行経路情報に基づいて、図３に示す仮想空間４０を生成する。図３に示す仮想空間４０は、例えば、飛行経路情報が示す飛行経路を表す仮想三次元オブジェクトである飛行経路オブジェクト４２が配置された仮想三次元空間である。ここで仮想空間４０内の位置は、実空間内の位置と１対１で対応付けられている。また仮想空間４０における向きは、実空間における向きと１対１で対応付けられている。
　飛行経路オブジェクト４２は、例えば、飛行経路情報に含まれる位置情報のリストの順で、当該位置情報が示す位置を表す三次元座標値をつないだ線を表す仮想オブジェクトであってもよい。ここで例えば飛行経路オブジェクト４２が、関連付けられている時刻情報が示す時刻が早い順に飛行経路情報に含まれる位置情報が示す位置を表す三次元座標値をつないだ線を表す仮想オブジェクトであってもよい。また例えば、図３に示すように、飛行経路オブジェクト４２は、飛行経路情報に含まれる位置情報のリストの順で、当該位置情報が示す位置を表す三次元座標値をつないだ線を軸とする柱状あるいは筒状の仮想オブジェクトであってもよい。
　そして本実施形態では例えば、実空間における視認位置及び視認方向が特定される。ここで例えば公知の推定手法による推定結果に基づいて、実空間における視認位置及び視認方向が特定されてもよい。ここで視認位置はＨＭＤ１０の装着者の位置に対応付けられるものであってもよい。また視認方向はＨＭＤ１０の装着者の頭部の姿勢に対応付けられるものであってもよい。
　また当該視認位置は、例えば表示部２６の位置に対応付けられるものであってもよい。具体的には例えば、当該視認位置は、表示部２６の中心の位置であってもよい。また当該視認方向は、例えば表示部２６の向きに対応付けられるものであってもよい。具体的には例えば、当該視認方向は表示部２６の表示面に対する法線方向であってもよい。
　そして本実施形態では例えば、実空間における視認位置に対応付けられる、仮想空間４０内における視認位置４４が特定される。また、実空間における視認方向に対応付けられる、仮想空間４０内における視認方向４６が特定される。上述のように仮想空間４０内の位置は、実空間内の位置と１対１で対応付けられており、仮想空間４０における向きは、実空間における向きと１対１で対応付けられているため、視認位置４４及び視認方向４６は一意に特定可能である。
　そして本実施形態では例えば、実空間における視認位置から実空間における視認方向を見た際の飛行経路が表現された画像が生成される。ここで例えば、仮想空間４０における視認位置４４から仮想空間４０における視認方向４６を見た様子を表す画像が生成されてもよい。以下、このようにして生成される画像を飛行経路画像と呼ぶこととする。図４は、飛行経路画像の一例を示す図である。図４に示す飛行経路画像には、飛行経路オブジェクト４２の像が含まれている。
　そして本実施形態では実空間において視認位置から視認方向を見た様子と位置合わせされた状態で飛行経路画像がＨＭＤ１０の表示部２６に表示される。ここで位置合わせされた状態とは、あたかもあるべき位置に飛行経路オブジェクト４２が配置されているかのような実空間がＨＭＤ１０の装着者に視認されるよう、飛行経路画像内における飛行経路オブジェクト４２の位置が調整された状態を指す。すると図５に示すように、ＨＭＤ１０の装着者は、無人航空機１２の飛行中に、実空間にある無人航空機１２及び表示部２６に表示される飛行経路画像を同時に視認できることとなる。ここで図５に示されている無人航空機１２は実像であり、飛行経路画像は表示部２６に表示された虚像画像である。
　ここで例えば、センサ部２８による計測結果及び表示部２６の設計値に基づいて、表示部２６を通して視認できるＨＭＤ１０の装着者の視野が特定されてもよい。そして、ＨＭＤ１０は、装着者の視野と飛行経路情報とに基づいて、視野内に飛行経路が含まれるか否かを判定してもよい。そして視野内に飛行経路が含まれると判定される場合にＨＭＤ１０は飛行経路画像を表示部２６に表示させてもよい。
　ここで無人航空機１２の操縦者や監督者などのＨＭＤ１０の装着者によって図５に示す状況が視認されている場合は、ＨＭＤ１０の装着者は無人航空機１２が飛行経路に沿って飛行していることを把握できる。
　一方、無人航空機１２の操縦者や監督者などのＨＭＤ１０の装着者によって図６に示す状況が視認されている場合は、ＨＭＤ１０の装着者は無人航空機１２が飛行経路から外れて飛行していることを把握できる。
　このようにして本実施形態によれば、無人航空機１２の操縦者や監督者などが、無人航空機１２が飛行経路通りに飛行できているか否かを容易に把握できることとなる。
　また図６に示す状況がＨＭＤ１０の装着者によって視認されている場合、ＨＭＤ１０の装着者は、無人航空機１２を装着者から見て左上に移動させることで、無人航空機１２を飛行経路に戻すことができることを容易に把握できることとなる。
　ところで本実施形態において、視認位置や視認方向の推定結果に誤差が含まれることがある。当該誤差は、視認位置や視認方向を推定する処理の精度だけでなく、ＨＭＤ１０のセンサ部２８によって計測されるＨＭＤ１０の位置や向きの誤差や、装着者の身長についての誤差によって、発生することがある。特に、ＨＭＤ１０の向きが加速度センサやジャイロセンサの計測値を積分することにより特定される場合は、ＨＭＤ１０の向きの誤差が蓄積されやすい。この場合、無人航空機１２が実際は飛行経路情報が示す飛行経路に沿って飛行しているにも関わらず、ＨＭＤ１０の装着者には無人航空機１２が飛行経路から外れて飛行しているように視認されることがある。
　このことを踏まえ、本実施形態において、無人航空機１２が飛行経路上にあるか否かが判定されるようにしてもよい。ここで例えば無人航空機１２のセンサ部３６により計測される無人航空機１２の位置と、飛行経路情報と、に基づいて、無人航空機１２が飛行経路上にあるか否かが判定されてもよい。そして当該判定の結果に応じて、飛行経路が表れている位置が補正された画像が表示されるか否かが制御されるようにしてもよい。
　例えば補正がされない状態では、図６に示す状況がＨＭＤ１０の装着者によって視認される場面を想定する。この場面において、無人航空機１２が飛行経路上にないと判定された場合は、補正は行われないようにしてもよい。一方、無人航空機１２が飛行経路上にあると判定された場合は、図７に示すように表示部２６に表示される画像の補正が行われるようにしてもよい。ここでは例えば、生成される飛行経路画像に対して平行移動や回転などの補正が行われるようにしてもよい。当該補正は、例えば、予めキャリブレーションされたＨＭＤ１０のカメラと表示部２６との関係、視野範囲画像、及び、飛行経路画像内における現在時刻に無人航空機１２があるべき位置に基づいて行われてもよい。
　ここで例えば、現在時刻に無人航空機１２があるべき飛行経路画像内における位置が視野範囲画像における無人航空機１２の位置に一致するよう飛行経路画像が補正されてもよい。
　また例えば、飛行経路画像に示されている飛行経路上の、視野範囲画像における無人航空機１２の位置に最も近い位置が特定されてもよい。そしてこのようにして特定される飛行経路画像内における飛行経路上の位置が視野範囲画像における無人航空機１２の位置に一致するよう飛行経路画像が補正されてもよい。
　また例えば、視認位置４４や視認方向４６を補正した上で新たな飛行経路画像が生成されるようにしてもよい。
　図７に示す状況が、無人航空機１２の操縦者や監督者などのＨＭＤ１０の装着者によって視認されている場合においては、ＨＭＤ１０の装着者は無人航空機１２が飛行経路に沿って飛行していることを把握できる。
　以下、本実施形態に係るＨＭＤ１０の機能並びに本実施形態に係るＨＭＤ１０で実行される処理についてさらに説明する。
　図８は、本実施形態に係るＨＭＤ１０で実装される機能の一例を示す機能ブロック図である。なお、本実施形態に係るＨＭＤ１０で、図８に示す機能のすべてが実装される必要はなく、また、図８に示す機能以外の機能が実装されていても構わない。
　図８に示すように、本実施形態に係るＨＭＤ１０には、機能的には例えば、飛行経路情報取得部５０、仮想空間生成部５２、実空間位置方向特定部５４、仮想空間位置方向特定部５６、飛行経路画像生成部５８、表示制御部６０、判定部６２、が含まれる。
　飛行経路情報取得部５０は、プロセッサ２０及び通信部２４を主として実装される。仮想空間生成部５２、仮想空間位置方向特定部５６、飛行経路画像生成部５８、判定部６２は、プロセッサ２０を主として実装される。実空間位置方向特定部５４は、プロセッサ２０及びセンサ部２８を主として実装される。表示制御部６０は、プロセッサ２０及び表示部２６を主として実装される。
　以上の機能は、コンピュータであるＨＭＤ１０にインストールされた、以上の機能に対応する指令を含むプログラムをプロセッサ２０で実行することにより実装されてもよい。また、このプログラムは、例えば、光ディスク、磁気ディスク、磁気テープ、光磁気ディスク等のコンピュータ読み取り可能な情報記憶媒体を介して、あるいは、インターネットなどを介してＨＭＤ１０に供給されてもよい。
　飛行経路情報取得部５０は、本実施形態では例えば、実空間における無人航空機１２の飛行経路を示す飛行経路情報を取得する。ここで、飛行経路情報取得部５０は、無人航空機１２の予定の飛行経路を示す飛行経路情報を取得してもよい。上述のように飛行経路情報は、例えば、無人航空機１２の予定の飛行経路に沿った複数の位置を表す三次元座標値のリストを含んでいてもよい。また飛行経路情報に、飛行経路上の複数の位置のそれぞれについて、当該位置に無人航空機１２があるべき時刻が示された時刻情報が含まれていてもよい。
　また、飛行経路情報取得部５０は、運行管理システム１４から送信される飛行経路情報を受信してもよい。また飛行経路情報取得部５０は、予めＨＭＤ１０の記憶部２２に記憶されている飛行経路情報を取得してもよい。
　また、飛行経路情報取得部５０は、無人航空機１２の実際の飛行経路を示す飛行経路情報を取得してもよい。ここで例えば、無人航空機１２の通信部３４が、無人航空機１２のセンサ部３６によって計測される、無人航空機１２の実際の位置や向きを示す位置情報を所定の時間間隔でＨＭＤ１０に繰り返し送信するようにしてもよい。そして、飛行経路情報取得部５０が、所定の時間間隔で無人航空機１２から送信される一連の位置情報を、無人航空機１２の実際の飛行経路を示す飛行経路情報として受信してもよい。ここで当該飛行経路情報は、操縦端末１６を経由してＨＭＤ１０が受信してもよいし、ＨＭＤ１０が無人航空機１２から直接受信してもよい。
　仮想空間生成部５２は、本実施形態では例えば、飛行経路に対応付けられる仮想オブジェクトが配置された仮想空間４０を生成する。ここで例えば、図３に示すような、飛行経路情報取得部５０が取得する飛行経路情報が示す飛行経路を表す飛行経路オブジェクト４２が配置された仮想空間４０が生成されてもよい。
　実空間位置方向特定部５４は、本実施形態では例えば、実空間における視認位置及び視認方向を特定する。ここで実空間位置方向特定部５４は、実空間において視認位置から視認方向を見た様子とともに飛行経路画像をＨＭＤ１０の装着者に視認させる表示部２６の位置に対応付けられる視認位置、及び、表示部２６の向きに対応付けられる視認方向を特定してもよい。
　仮想空間位置方向特定部５６は、本実施形態では例えば、実空間位置方向特定部５４により特定される実空間における視認位置に対応付けられる仮想空間４０における視認位置４４を特定する。また仮想空間位置方向特定部５６は、本実施形態では例えば、実空間位置方向特定部５４により特定される実空間における視認方向に対応付けられる仮想空間４０における視認方向４６を特定する。
　飛行経路画像生成部５８は、本実施形態では例えば、飛行経路情報に基づいて、実空間における視認位置から実空間における視認方向を見た際の飛行経路が表現された、図４に示すような飛行経路画像を生成する。ここで飛行経路画像生成部５８が、仮想空間４０における視認位置４４から仮想空間４０における視認方向４６を見た様子を表す飛行経路画像を生成してもよい。
　また飛行経路画像生成部５８は、飛行経路上の複数の位置のそれぞれについて、当該位置に無人航空機１２があるべき時刻がさらに表現された飛行経路画像を生成してもよい。例えば色、明るさ、透過度などの視認性が上述の時刻によって異なる飛行経路画像が生成されてもよい。例えば、関連付けられている時刻情報が示す時刻が前のものであるほど視認性が低く（例えば薄く見え）、後のものであるほど視認性が高い（例えば濃く見える）飛行経路画像が生成されてもよい。このようにすれば、ＨＭＤ１０の装着者は、より後の時刻の飛行経路の方が把握しやすくなる。
　また飛行経路画像生成部５８は、現在時刻に応じた飛行経路画像を生成してもよい。例えば、飛行経路画像生成部５８は、飛行経路上の複数の位置のそれぞれについて、当該位置に無人航空機１２があるべき時刻が現在時刻よりも前であるか後であるかが表現された飛行経路画像を生成してもよい。例えば、現在時刻よりも前の飛行経路は現在時刻よりも後の飛行経路よりも視認性が低い飛行経路画像が生成されてもよい。あるいは現在時刻よりも前の飛行経路については表現されない飛行経路画像が生成されてもよい。また現在時刻において無人航空機１２があるべき位置にマーカの画像が配置された飛行経路画像が生成されてもよい。このようにすればＨＭＤ１０の装着者は現在時刻に無人航空機１２があるべき位置を把握できる。また、ＨＭＤ１０の装着者は、これから無人航空機１２を飛行させるべき経路をより把握しやすくなる。
　また飛行経路画像生成部５８は、飛行経路情報が示す、無人航空機１２の予定の飛行経路、及び、無人航空機１２の実際の飛行経路（実際の飛行経路の履歴）の少なくとも一方が表現された飛行経路画像を生成してもよい。ここで飛行経路画像生成部５８は、例えば、無人航空機１２の予定の飛行経路に加え、又は、予定の飛行経路に代えて、実際の飛行経路が表現された飛行経路画像を生成してもよい。なお、予定の飛行経路と実際の飛行経路の両方が表現された飛行経路画像が生成される場合に、予定の飛行経路と実際の飛行経路とを識別可能な飛行経路画像が生成されてもよい。例えば、予定の飛行経路と実際の飛行経路とで視認性が異なる飛行経路画像が生成されてもよい。
　表示制御部６０は、本実施形態では例えば、実空間において視認位置から視認方向を見た様子と位置合わせされた状態で飛行経路画像を表示部２６に表示させる。すなわち、あたかもあるべき位置に飛行経路オブジェクト４２が配置されているかのような実空間がＨＭＤ１０の装着者に視認されるよう、飛行経路画像内における飛行経路オブジェクト４２の位置が調整された状態で飛行経路画像が表示部２６に表示される。このことにより、ＨＭＤ１０の装着者は、図５や図６に示す状況を把握できる。ここで表示制御部６０は、飛行経路画像生成部５８が生成する飛行経路画像を表示部２６に表示させてもよい。
　なお表示制御部６０が、飛行経路画像に加え、無人航空機１２の速度、無人航空機１２の位置（緯度、経度及び高度など）、操縦者から無人航空機１２までの距離、目的地までの距離、バッテリー残量、などといった無人航空機１２に関する情報を表示させてもよい。
　判定部６２は、本実施形態では例えば、無人航空機１２が飛行経路上にあるか否かを判定する。ここで判定部６２は、計測される無人航空機１２の位置と飛行経路情報とに基づいて、無人航空機１２が飛行経路上にあるか否かを判定してもよい。ここで無人航空機１２の位置は、無人航空機１２のセンサ部２８により計測されてもよい。
　そしてこの場合に、表示制御部６０は、判定部６２による判定の結果に応じて、飛行経路が表れている位置が補正された画像を表示させるか否かを制御してもよい。ここで例えば、無人航空機１２が飛行経路上にあると判定された場合に、飛行経路画像生成部５８が、補正された飛行経路画像を生成してもよい。ここで飛行経路画像生成部５８が、視認位置４４や視認方向４６を補正した上で新たな飛行経路画像を生成するようにしてもよい。あるいは、表示制御部６０が、飛行経路画像生成部５８により生成される飛行経路画像に対して平行移動や回転などの補正を行うようにしてもよい。
　以下、本実施形態に係るＨＭＤ１０で実行される処理の流れの一例を、図９に示すフロー図を参照しながら説明する。本処理例では、飛行経路情報が既に飛行経路情報取得部５０により取得されていることとする。そして仮想空間生成部５２により、図３に例示する仮想空間４０が生成されていることとする。
　また本実施形態では例えば、所定のフレームレートで表示部２６に飛行経路画像が表示されることとする。そして当該所定のフレームレートでＳ１０１～Ｓ１１０に示す処理が繰り返し実行されることとする。
　まず、実空間位置方向特定部５４は、実空間における視認位置及び実空間における視認方向を特定する（Ｓ１０１）。
　そして、仮想空間位置方向特定部５６が、仮想空間４０における視認位置４４及び仮想空間４０における視認方向４６を特定する（Ｓ１０２）。ここではＳ１０１に示す処理で特定された実空間における視認位置に対応付けられる仮想空間４０における視認位置４４が特定される。またＳ１０１に示す処理で特定された実空間における視認方向に対応付けられる仮想空間４０における視認方向４６が特定される。
　そして、飛行経路画像生成部５８が、仮想空間４０における視認位置４４から仮想空間４０における視認方向４６を見た様子を表す飛行経路画像を生成する（Ｓ１０３）。
　そして、判定部６２が、ＨＭＤ１０が備えるカメラが撮影した視野範囲画像を取得する（Ｓ１０４）。
　そして、判定部６２が、公知の画像認識技術を用いることにより、Ｓ１０４に示す処理で取得された視野範囲画像内における無人航空機１２の位置を特定する（Ｓ１０５）。
　そして、判定部６２が、Ｓ１０３に示す処理で生成された飛行経路画像と、Ｓ１０５に示す処理で特定された無人航空機１２の位置と、に基づいて、ＨＭＤ１０の装着者に無人航空機１２が飛行経路から外れているように視認されるか否かを判定する（Ｓ１０６）。ここで当該判定は、予めキャリブレーションされたＨＭＤ１０が備えるカメラと表示部２６との関係、視野範囲画像から検出された無人航空機１２の位置、及び、生成された飛行経路画像において表現された飛行経路、に基づいて行われてもよい。
　ＨＭＤ１０の装着者に無人航空機１２が飛行経路から外れているように視認されると判定された場合（Ｓ１０６：Ｙ）、飛行経路情報取得部５０が、無人航空機１２の現在位置を示す位置情報を取得する（Ｓ１０７）。
　Ｓ１０７に示す処理では、飛行経路情報取得部５０が、現在位置を示す位置情報の送信を無人航空機１２に要求してもよい。そして飛行経路情報取得部５０が、当該要求に応じて無人航空機１２が送信する、無人航空機１２の現在位置を示す位置情報を受信してもよい。ここで当該位置情報は、操縦端末１６を経由してＨＭＤ１０が受信してもよいし、ＨＭＤ１０が無人航空機１２から直接受信してもよい。あるいは、飛行経路情報取得部５０は、飛行経路情報として無人航空機１２から繰り返し送信される位置情報のうちから、現在位置を示す位置情報を取得してもよい。
　そして、判定部６２は、Ｓ１０７に示す処理で取得された位置情報と、飛行経路情報と、に基づいて、無人航空機１２が飛行経路上にあるか否かを判定する（Ｓ１０８）。ここで例えば、Ｓ１０７に示す処理で取得された位置情報が示す、三次元座標値で表現される位置と、飛行経路情報において三次元座標値で表現される、現在時刻に無人航空機１２があるべき位置と、の間の距離が特定されてもよい。そして特定される距離を示す値が所定の閾値以下である場合には、無人航空機１２が飛行経路上にあると判定されてもよい。
　なお無人航空機１２が飛行経路上にあるか否かの判定方法は上述の例には限定されない。例えばＳ１０７に示す処理で取得された位置情報が示す、三次元座標値で表現される位置と、飛行経路情報に基づいて特定される飛行経路を表す線と、の間の距離が特定されてもよい。そして、特定される距離を示す値が所定の閾値以下である場合には、無人航空機１２が飛行経路上にあると判定されてもよい。
　また水平方向（例えばＸ座標値及びＹ座標値）と、高さ方向（例えばＺ座標値）とで異なる閾値が用いられてもよい。例えば、Ｓ１０７に示す処理で取得された位置情報が示すＸＹ座標値で表される二次元平面上の点と、飛行経路情報において三次元座標値で表現される、現在時刻に無人航空機１２があるべき位置のＸＹ座標値で表される二次元平面上の点とが特定されてもよい。そして当該２点間の距離が第１の距離として特定されてもよい。そして例えば、Ｓ１０７に示す処理で取得された位置情報が示すＺ座標値で表される一次元直線上の点と、飛行経路情報において三次元座標値で表現される、現在時刻に無人航空機１２があるべき位置のＺ座標値で表される一次元直線上の点とが特定されてもよい。そして当該２点間の距離が第２の距離として特定されてもよい。そして第１の距離を示す値が第１の閾値以下であり、かつ、第２の距離を示す値が第２の閾値以下である場合に、無人航空機１２が飛行経路上にあると判定されてもよい。
　無人航空機１２が飛行経路上にあると判定された場合は（Ｓ１０８：Ｙ）、表示制御部６０は、図７に示すような、Ｓ１０３に示す処理で生成された飛行経路画像に対して飛行経路が表れている位置が補正された画像を表示させる（Ｓ１０９）。
　無人航空機１２が飛行経路上にないと判定された場合は（Ｓ１０８：Ｎ）、表示制御部６０は、Ｓ１０３に示す処理で生成された飛行経路画像を表示させる（Ｓ１１０）。Ｓ１０６に示す処理でＨＭＤ１０の装着者に無人航空機１２が飛行経路上にあるように視認されると判定された場合（Ｓ１０６：Ｎ）も同様に、表示制御部６０は、Ｓ１０３に示す処理で生成された飛行経路画像を表示させる（Ｓ１１０）。Ｓ１１０に示す処理は、実空間において視認位置から視認方向を見た様子と位置合わせされた状態で飛行経路画像を表示部２６に表示させる処理の一例に相当する。
　そしてＳ１０１に示す処理に戻る。
　なお上述の処理例において、Ｓ１０４～Ｓ１０６に示す処理は実行されなくてもよい。この場合に、Ｓ１０３に示す処理の後にＳ１０７に示す処理が実行されてもよい。
　また補正が行われないのであれば、Ｓ１０４～Ｓ１０９に示す処理は実行される必要はない。この場合に、Ｓ１０３に示す処理の後にＳ１１０に示す処理が実行されてもよい。
　本実施形態において例えば、飛行経路情報に、選択可能な複数の飛行経路が示されていてもよい。また飛行経路情報には、現時点で選択可能な飛行経路と、将来的に選択可能となるが現時点では選択不可能な飛行経路（例えば現在は安全ではないが将来的に安全になる予定のエリアを通る飛行経路など）が示されていてもよい。また飛行経路情報には、１つの飛行経路から複数に分岐する飛行経路が示されていてもよい。
　このように飛行経路情報に複数の飛行経路が示されている場合に、飛行経路画像生成部５８は、選択されている飛行経路と選択されていない飛行経路とを識別可能な飛行経路画像を生成してもよい。例えば選択されている飛行経路と選択されていない飛行経路とで視認性が異なる飛行経路画像が生成されてもよい。例えば現在選択されている飛行経路が選択されていない飛行経路よりも視認性が高い飛行経路画像が生成されてもよい。また、現時点で選択可能な飛行経路が選択不可能な飛行経路よりも視認性が高い飛行経路画像が生成されてもよい。
　また飛行経路画像生成部５８は、無人航空機１２が飛行経路上にあるか否かに応じた態様の飛行経路画像を生成してもよい。例えば、無人航空機１２が飛行経路上にあると判定される場合に、無人航空機１２が飛行経路に沿って飛行していることを示すマーカを含む飛行経路画像が生成されてもよい。また無人航空機１２が飛行経路上にないと判定される場合に、無人航空機１２が飛行経路から外れて飛行していることを示すマーカを含む飛行経路画像が生成されてもよい。無人航空機１２が飛行経路に沿って飛行していることを示すマーカと無人航空機１２が飛行経路から外れて飛行していることを示すマーカとは、両方が配置可能であってもよいし片方が配置可能であってもよい。無人航空機１２が飛行経路に沿って飛行していることを示すマーカと無人航空機１２が飛行経路から外れて飛行していることを示すマーカとの両方が配置可能な場合には、色等が異なるようにしてこれらのマーカが識別可能とすることが望ましい。なお当該マーカは、実空間において現在時刻に無人航空機１２があるべき位置に対応付けられる、飛行経路画像内の位置に配置されてもよい。
　ここで飛行経路画像生成部５８は、視認位置から視認方向を見た際の飛行経路が表現された画像として、飛行経路オブジェクト４２の像とともに上述のマーカを含む画像を生成してもよい。また飛行経路画像生成部５８は、視認位置から視認方向を見た際の飛行経路が表現された画像として、飛行経路オブジェクト４２の像を含まず上述のマーカだけを含む画像を生成してもよい。
　また飛行経路情報取得部５０は、複数の無人航空機１２の飛行経路を示す飛行経路情報を取得してもよい。そして飛行経路画像生成部５８は、複数の無人航空機１２の飛行経路が表現された飛行経路画像を生成してもよい。
　ここで例えば、飛行経路画像生成部５８は、複数の無人航空機１２のそれぞれの飛行経路の視認性が異なる飛行経路画像を生成してもよい。例えば飛行経路画像生成部５８が、ＨＭＤ１０の装着者である操縦者、すなわち、飛行経路画像を見る操縦者が操縦している無人航空機１２の飛行経路と他の無人航空機１２の飛行経路とを識別可能な飛行経路画像を生成してもよい。
　例えば、ＨＭＤ１０の装着者である操縦者が操縦している無人航空機１２の飛行経路が他の無人航空機１２の飛行経路よりも視認性が高い飛行経路画像が生成されてもよい。あるいはＨＭＤ１０の装着者である操縦者が操縦している無人航空機１２の飛行経路が他の無人航空機１２の飛行経路よりも視認性が低い飛行経路画像が生成されてもよい。このようにすればＨＭＤ１０の装着者は、自らが操縦する無人航空機１２と他の無人航空機１２との接触の可能性を予期できる。そのため、自らが操縦する無人航空機１２と他の無人航空機１２とが接触する可能性を下げることができる。
　また、無人航空機１２が離陸する際に、ＨＭＤ１０が備えるカメラにより撮影される視野範囲画像内における無人航空機１２の位置を検出して、無人航空機１２の位置とＨＭＤ１０の位置との関係が推定されるようにしてもよい。このようにすれば、無人航空機１２の離陸地点を基準とした座標系におけるＨＭＤ１０の装着者の位置をより高精度に推定できる。
　また飛行経路画像生成部５８は、視認位置から見て無人航空機１２が飛行経路よりも手前にあるか奥にあるかに応じた飛行経路画像を生成してもよい。
　例えば、ＨＭＤ１０が備えるカメラが、無人航空機１２までの距離が測定可能な測距部を備えたカメラであるとする。この場合に、当該測距部により測定される無人航空機１２までの距離と、飛行経路情報と、に基づいて、視認位置から見て無人航空機１２が飛行経路よりも手前にあるか奥にあるかが判定されてもよい。そして視認位置から見て無人航空機１２が飛行経路よりも手前にある場合に、飛行経路が赤で表現された飛行経路画像が生成されてもよい。また、視認位置から見て無人航空機１２が飛行経路よりも奥にある場合に、飛行経路が黄で表現された飛行経路画像が生成されてもよい。また視認位置から見た際の無人航空機１２までの距離と飛行経路までの距離との差を示す値が所定値よりも小さい場合に、飛行経路が青で表現された飛行経路画像が生成されてもよい。
　また例えば、無人航空機１２が全方位カメラを備えている場合などにおいて、当該カメラが撮影する画像に対して画像認識を実行することで、障害物等のオブジェクトの位置が特定されてもよい。そして障害物や人物等のオブジェクトと飛行経路とが交差するか否かに応じた飛行経路画像が生成されるようにしてもよい。例えば、障害物や人物等のオブジェクトと飛行経路とが交差する場合には赤色の飛行経路画像が生成され、そうでない場合は青色の飛行経路画像が生成されるようにしてもよい。また例えば、障害物等のオブジェクトと交差する部分が赤くその他の部分が青い飛行経路画像が生成されてもよい。
　なお、本発明は上述の実施形態に限定されるものではない。
　例えば以上の説明ではＨＭＤ１０は光学透過型（オプティカルシースルー型）のＨＭＤ１０であることとしたが、本発明は、ＨＭＤ１０が映像透過型（ビデオシースルー型）のＨＭＤ１０の場合であっても適用可能である。この場合、実空間位置方向特定部５４が、映像透過型のＨＭＤ１０が備えるカメラの位置に対応付けられる視認位置、及び、当該カメラの撮影方向に対応付けられる視認方向を特定してもよい。当該カメラは例えば、ＨＭＤ１０の前方を撮影するカメラである。そして飛行経路画像生成部５８が、当該カメラにより撮影される画像に当該視認位置から当該視認方向を見た際の飛行経路が重畳された飛行経路画像を生成してもよい。例えば映像透過型のＨＭＤ１０が備えるカメラにより撮影される画像に図４に示す飛行経路画像が重畳された画像が生成されてもよい。このようにして生成される飛行経路画像は、実空間において視認位置から視認方向を見た様子と位置合わせされた状態で実空間の様子と飛行経路とが表現された画像の一例であるといえる。そして表示制御部６０は、当該飛行経路画像を映像透過型のＨＭＤ１０が備える表示部２６に表示させてもよい。こうすれば、実空間において視認位置から視認方向を見た様子と位置合わせされた状態で飛行経路画像が表示部２６に表示されることとなる。
　また本発明の適用範囲はＨＭＤ１０にも限定されない。例えば、実空間に配置されたカメラが撮影する画像と図４に示す飛行経路画像が重畳された画像が表示される、ＨＭＤ１０ではないディスプレイを、無人航空機１２の操縦者や監督者が視認する場面についても本発明は適用可能である。なお当該カメラと当該ディスプレイとは分離されていても構わない。この場合に例えば、実空間位置方向特定部５４が、当該カメラの位置に対応付けられる視認位置、及び、当該カメラの撮影方向に対応付けられる視認方向を特定してもよい。そして飛行経路画像生成部５８が、当該カメラにより撮影される画像に当該視認位置から当該視認方向を見た際の飛行経路が重畳された画像を生成してもよい。そして表示制御部６０は、ＨＭＤ１０ではないディスプレイに当該飛行経路画像を表示させてもよい。
　また本実施形態において、図８に示す機能の一部又は全部が、無人航空機１２、運行管理システム１４、又は、操縦端末１６において実装されてもよい。
　また、上記の具体的な文字列や数値及び図面中の具体的な文字列や数値は例示であり、これらの文字列や数値には限定されない。

Claims (18)

  1. 　実空間における無人航空機の飛行経路を示す飛行経路情報を取得する飛行経路情報取得手段と、
    　前記実空間における視認位置及び視認方向を特定する特定手段と、
    　前記飛行経路情報に基づいて、前記視認位置から前記視認方向を見た際の前記飛行経路が表現された画像を生成する画像生成手段と、
    　前記実空間において前記視認位置から前記視認方向を見た様子と位置合わせされた状態で前記画像を表示部に表示させる表示制御手段と、
    　を含むことを特徴とする飛行経路案内システム。
  2. 　前記特定手段は、光学透過型のヘッドマウントディスプレイが備える、前記実空間において前記視認位置から前記視認方向を見た様子とともに前記画像を当該ヘッドマウントディスプレイの装着者に視認させる前記表示部の位置に対応付けられる前記視認位置、及び、当該表示部の向きに対応付けられる前記視認方向を特定する、
    　ことを特徴とする請求項１に記載の飛行経路案内システム。
  3. 　前記特定手段は、前記実空間を撮影するカメラの位置に対応付けられる前記視認位置、及び、当該カメラの撮影方向に対応付けられる前記視認方向を特定し、
    　前記画像生成手段は、前記カメラにより撮影される画像に前記視認位置から前記視認方向を見た際の前記飛行経路が重畳された前記画像を生成する、
    　ことを特徴とする請求項１に記載の飛行経路案内システム。
  4. 　前記特定手段は、映像透過型のヘッドマウントディスプレイが備える前記カメラの位置に対応付けられる前記視認位置、及び、当該カメラの撮影方向に対応付けられる前記視認方向を特定し、
    　前記表示制御手段は、前記ヘッドマウントディスプレイが備える前記表示部に前記画像を表示させる、
    　ことを特徴とする請求項３に記載の飛行経路案内システム。
  5. 　前記ヘッドマウントディスプレイは、前記無人航空機の操縦者の頭部に装着されている、
    　ことを特徴とする請求項２又は４に記載の飛行経路案内システム。
  6. 　前記飛行経路を表す仮想オブジェクトが配置された仮想空間を生成する仮想空間生成手段、をさらに含み、
    　前記特定手段は、さらに、前記実空間における前記視認位置に対応付けられる前記仮想空間における視認位置、及び、前記実空間における前記視認方向に対応付けられる前記仮想空間における視認方向を特定し、
    　前記画像生成手段は、前記仮想空間における前記視認位置から前記仮想空間における前記視認方向を見た様子を表す前記画像を生成する、
    　ことを特徴とする請求項１から５のいずれか一項に記載の飛行経路案内システム。
  7. 　前記画像生成手段は、前記無人航空機が前記飛行経路上にあるか否かに応じた態様の前記画像を生成する、
    　ことを特徴とする請求項１から６のいずれか一項に記載の飛行経路案内システム。
  8. 　前記無人航空機が前記飛行経路上にあるか否かを判定する判定手段、をさらに含み、
    　前記表示制御手段は、前記判定手段による判定の結果に応じて、前記飛行経路が表れている位置が補正された画像を表示させるか否かを制御する、
    　ことを特徴とする請求項１から６のいずれか一項に記載の飛行経路案内システム。
  9. 　前記判定手段は、計測される前記無人航空機の位置と前記飛行経路情報とに基づいて、前記無人航空機が前記飛行経路上にあるか否かを判定する、
    　ことを特徴とする請求項８に記載の飛行経路案内システム。
  10. 　前記飛行経路情報には、前記飛行経路上の複数の位置のそれぞれについて、当該位置に前記無人航空機があるべき時刻が示されており、
    　前記画像生成手段は、前記時刻がさらに表現された前記画像を生成する、
    　ことを特徴とする請求項１から９のいずれか一項に記載の飛行経路案内システム。
  11. 　前記画像生成手段は、前記飛行経路上の複数の位置のそれぞれについて、当該位置に前記無人航空機があるべき時刻が現在時刻よりも前であるか後であるかが表現された前記画像を生成する、
    　ことを特徴とする請求項１０に記載の飛行経路案内システム。
  12. 　前記飛行経路情報には、選択可能な複数の前記飛行経路が示されており、
    　前記画像生成手段は、選択されている前記飛行経路と選択されていない前記飛行経路とを識別可能な前記画像を生成する、
    　ことを特徴とする請求項１から１１のいずれか一項に記載の飛行経路案内システム。
  13. 　前記画像生成手段は、前記飛行経路情報が示す、前記無人航空機の予定の飛行経路、及び、前記無人航空機の実際の飛行経路のうちの少なくとも一方が表現された前記画像を生成する、
    　ことを特徴とする請求項１から１２のいずれか一項に記載の飛行経路案内システム。
  14. 　前記飛行経路情報取得手段は、複数の前記無人航空機の前記飛行経路を示す前記飛行経路情報を取得し、
    　前記画像生成手段は、前記複数の前記無人航空機の前記飛行経路が表現された前記画像を生成する、
    　ことを特徴とする請求項１から１３のいずれか一項に記載の飛行経路案内システム。
  15. 　前記画像生成手段は、前記画像を見る操縦者が操縦している前記無人航空機の前記飛行経路と他の前記無人航空機の前記飛行経路とを識別可能な前記画像を生成する、
    　ことを特徴とする請求項１４に記載の飛行経路案内システム。
  16. 　前記無人航空機は、自律飛行機能を備える、
    　ことを特徴とする請求項１から１５のいずれか一項に記載の飛行経路案内システム。
  17. 　実空間における無人航空機の飛行経路を示す飛行経路情報を取得する飛行経路情報取得手段と、
    　前記実空間における視認位置及び視認方向を特定する特定手段と、
    　前記飛行経路情報に基づいて、前記視認位置から前記視認方向を見た際の前記飛行経路が表現された画像を生成する画像生成手段と、
    　前記実空間において前記視認位置から前記視認方向を見た様子と位置合わせされた状態で前記画像を表示部に表示させる表示制御手段と、
    　を含むことを特徴とする飛行経路案内装置。
  18. 　実空間における無人航空機の飛行経路を示す飛行経路情報を取得するステップと、
    　前記実空間における視認位置及び視認方向を特定するステップと、
    　前記飛行経路情報に基づいて、前記視認位置から前記視認方向を見た際の前記飛行経路が表現された画像を生成するステップと、
    　前記実空間において前記視認位置から前記視認方向を見た様子と位置合わせされた状態で前記画像を表示部に表示させるステップと、
    　を含むことを特徴とする飛行経路案内方法。
PCT/JP2018/043028 2018-11-21 2018-11-21 飛行経路案内システム、飛行経路案内装置及び飛行経路案内方法 WO2020105147A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201880093649.9A CN112204351A (zh) 2018-11-21 2018-11-21 飞行路径引导***、飞行路径引导装置及飞行路径引导方法
US17/042,198 US20210118311A1 (en) 2018-11-21 2018-11-21 Flight route guidance system, flight route guidance device and flight route guidance method
JP2020547431A JP6890759B2 (ja) 2018-11-21 2018-11-21 飛行経路案内システム、飛行経路案内装置及び飛行経路案内方法
PCT/JP2018/043028 WO2020105147A1 (ja) 2018-11-21 2018-11-21 飛行経路案内システム、飛行経路案内装置及び飛行経路案内方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2018/043028 WO2020105147A1 (ja) 2018-11-21 2018-11-21 飛行経路案内システム、飛行経路案内装置及び飛行経路案内方法

Publications (1)

Publication Number Publication Date
WO2020105147A1 true WO2020105147A1 (ja) 2020-05-28

Family

ID=70774706

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/043028 WO2020105147A1 (ja) 2018-11-21 2018-11-21 飛行経路案内システム、飛行経路案内装置及び飛行経路案内方法

Country Status (4)

Country Link
US (1) US20210118311A1 (ja)
JP (1) JP6890759B2 (ja)
CN (1) CN112204351A (ja)
WO (1) WO2020105147A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11912430B2 (en) 2022-04-28 2024-02-27 BETA Technologies, Inc. Systems and methods for displaying a pilot display for an aircraft

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0994352A (ja) * 1995-10-02 1997-04-08 Sega Enterp Ltd 移動体相互間の仮想時間差測定方法、仮想距離測定方法及びそれらを実行する測定装置
JP2001276431A (ja) * 2000-03-29 2001-10-09 Namco Ltd ゲーム装置及び情報記憶媒体
JP2003076260A (ja) * 2001-09-06 2003-03-14 Suzuki Motor Corp 運転技能修得装置
JP2007267485A (ja) * 2006-03-28 2007-10-11 Chugoku Electric Power Co Inc:The 無人ヘリコプタ及びこれに搭載される切断装置
JP2010509946A (ja) * 2006-11-09 2010-04-02 パルロ ビデオゲームシステムのための表示の調整方法
JP2011215856A (ja) * 2010-03-31 2011-10-27 Ns Solutions Corp 情報処理システム及び情報処理方法
JP2013235367A (ja) * 2012-05-08 2013-11-21 Nec Corp フライトパス表示システム、方法及びプログラム
JP2016085613A (ja) * 2014-10-27 2016-05-19 日本無線株式会社 運航状況表示システム及び運航状況表示方法
JP2018165066A (ja) * 2017-03-28 2018-10-25 セイコーエプソン株式会社 頭部装着型表示装置およびその制御方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2901914B2 (ja) * 1996-03-18 1999-06-07 株式会社コミュータヘリコプタ先進技術研究所 航空機衝突防止装置および航空機衝突防止システム
JP3907048B2 (ja) * 2002-09-25 2007-04-18 株式会社タイトー 移動体操縦ゲーム機
CN101750086B (zh) * 2008-11-28 2013-02-27 财团法人工业技术研究院 导航信息修正方法及其导航装置
US20120206485A1 (en) * 2010-02-28 2012-08-16 Osterhout Group, Inc. Ar glasses with event and sensor triggered user movement control of ar eyepiece facilities
FR3025919B1 (fr) * 2014-09-12 2021-03-19 Thales Sa Interface homme-machine pour la gestion de la trajectoire d'un aeronef
JP6662720B2 (ja) * 2015-07-17 2020-03-11 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 飛行ルート生成方法、飛行ルート生成プログラム及び飛行ルート表示装置
CN108664037B (zh) * 2017-03-28 2023-04-07 精工爱普生株式会社 头部佩戴型显示装置以及无人机的操纵方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0994352A (ja) * 1995-10-02 1997-04-08 Sega Enterp Ltd 移動体相互間の仮想時間差測定方法、仮想距離測定方法及びそれらを実行する測定装置
JP2001276431A (ja) * 2000-03-29 2001-10-09 Namco Ltd ゲーム装置及び情報記憶媒体
JP2003076260A (ja) * 2001-09-06 2003-03-14 Suzuki Motor Corp 運転技能修得装置
JP2007267485A (ja) * 2006-03-28 2007-10-11 Chugoku Electric Power Co Inc:The 無人ヘリコプタ及びこれに搭載される切断装置
JP2010509946A (ja) * 2006-11-09 2010-04-02 パルロ ビデオゲームシステムのための表示の調整方法
JP2011215856A (ja) * 2010-03-31 2011-10-27 Ns Solutions Corp 情報処理システム及び情報処理方法
JP2013235367A (ja) * 2012-05-08 2013-11-21 Nec Corp フライトパス表示システム、方法及びプログラム
JP2016085613A (ja) * 2014-10-27 2016-05-19 日本無線株式会社 運航状況表示システム及び運航状況表示方法
JP2018165066A (ja) * 2017-03-28 2018-10-25 セイコーエプソン株式会社 頭部装着型表示装置およびその制御方法

Also Published As

Publication number Publication date
US20210118311A1 (en) 2021-04-22
JP6890759B2 (ja) 2021-06-18
CN112204351A (zh) 2021-01-08
JPWO2020105147A1 (ja) 2021-02-15

Similar Documents

Publication Publication Date Title
US20210356956A1 (en) Systems and methods for controlling an unmanned aerial vehicle
US11046429B2 (en) Head mounted display and method for maneuvering vehicle
US9158305B2 (en) Remote control system
US10678238B2 (en) Modified-reality device and method for operating a modified-reality device
KR101408077B1 (ko) 가상 영상을 이용한 무인기 조종 장치 및 방법
WO2018167771A1 (en) Gradual transitioning between two-dimensional and three-dimensional augmented reality images
US10377487B2 (en) Display device and display control method
JP2018165066A (ja) 頭部装着型表示装置およびその制御方法
JP2019039892A (ja) 光学情報処理装置、光学情報処理方法および光学情報処理用プログラム
US11893298B2 (en) Multi-platform integrated display
JP6831949B2 (ja) 表示制御システム、表示制御装置及び表示制御方法
EP2523062B1 (en) Time phased imagery for an artificial point of view
US11422370B2 (en) Head mounted display symbology concepts and implementations, associated with a reference vector
WO2020105147A1 (ja) 飛行経路案内システム、飛行経路案内装置及び飛行経路案内方法
US20180202831A1 (en) Auxiliary control method and system for unmanned aerial vehicle
JP6821864B2 (ja) 表示制御システム、表示制御装置及び表示制御方法
JP7203935B2 (ja) 光学情報処理装置、光学情報処理方法および光学情報処理用プログラム
KR102181809B1 (ko) 시설물 점검 장치 및 방법
JP7367922B2 (ja) 操縦支援システム
KR20180060403A (ko) 영상 기반의 드론 제어장치
KR101027533B1 (ko) 영상 감시 장치 및 그 방법
CN109782442A (zh) 显示***、相关显示方法和计算机程序
KR102011470B1 (ko) 3d항로 디스플레이 시스템
JP2024071414A (ja) 移動体用操縦支援方法及び移動体用操縦支援システム
KR20200074023A (ko) 상대 항법 정보를 활용한 증강 현실 기반 무인 이동체 제어 방법 및 장치

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18940519

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2020547431

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18940519

Country of ref document: EP

Kind code of ref document: A1