WO2019082924A1 - 情報処理装置 - Google Patents
情報処理装置Info
- Publication number
- WO2019082924A1 WO2019082924A1 PCT/JP2018/039475 JP2018039475W WO2019082924A1 WO 2019082924 A1 WO2019082924 A1 WO 2019082924A1 JP 2018039475 W JP2018039475 W JP 2018039475W WO 2019082924 A1 WO2019082924 A1 WO 2019082924A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- captured image
- pilot
- information
- terminal
- flight
- Prior art date
Links
- 230000010365 information processing Effects 0.000 title claims description 10
- 238000003384 imaging method Methods 0.000 claims description 45
- 238000004891 communication Methods 0.000 claims description 25
- 238000000034 method Methods 0.000 claims description 15
- 238000012545 processing Methods 0.000 claims description 10
- 230000004048 modification Effects 0.000 description 12
- 238000012986 modification Methods 0.000 description 12
- 230000006870 function Effects 0.000 description 11
- RZVHIXYEVGDQDX-UHFFFAOYSA-N 9,10-anthraquinone Chemical compound C1=CC=C2C(=O)C3=CC=CC=C3C(=O)C2=C1 RZVHIXYEVGDQDX-UHFFFAOYSA-N 0.000 description 10
- 238000010586 diagram Methods 0.000 description 9
- 230000007246 mechanism Effects 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 3
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- NJPPVKZQTLUDBO-UHFFFAOYSA-N novaluron Chemical compound C1=C(Cl)C(OC(F)(F)C(OC(F)(F)F)F)=CC=C1NC(=O)NC(=O)C1=C(F)C=CC=C1F NJPPVKZQTLUDBO-UHFFFAOYSA-N 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000007480 spreading Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
- H04N7/185—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source from a mobile camera, e.g. for remote control
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64C—AEROPLANES; HELICOPTERS
- B64C13/00—Control systems or transmitting systems for actuating flying-control surfaces, lift-increasing flaps, air brakes, or spoilers
- B64C13/02—Initiating means
- B64C13/16—Initiating means actuated automatically, e.g. responsive to gust detectors
- B64C13/20—Initiating means actuated automatically, e.g. responsive to gust detectors using radiated signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
- B64U10/00—Type of UAV
- B64U10/10—Rotorcrafts
- B64U10/13—Flying platforms
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
- B64U2101/00—UAVs specially adapted for particular uses or applications
- B64U2101/30—UAVs specially adapted for particular uses or applications for imaging, photography or videography
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
- B64U2201/00—UAVs characterised by their flight controls
- B64U2201/20—Remote controls
Definitions
- the present invention relates to maneuvering support for a pilot of a flight vehicle.
- imaging of the flying state of the flying object is performed by causing light emission from a light emitter provided on the flying object to follow the camera provided on the moving mechanism, A mechanism for displaying the captured image at a remote location is disclosed.
- an object of the present invention is to provide a mechanism capable of easily providing steering assistance to a pilot of a flying object from a remote location.
- the present invention acquires the 1st acquisition part which acquires the picturized picture picturized by the imaging device carried in the flight object, and acquires the picturized image which picturized the situation where the above-mentioned flight body flies In a second acquisition unit and a terminal of a steering assistant who supports the pilot's maneuvering of the flying object, any one of the captured image acquired by the first acquisition unit or the captured image acquired by the second acquisition unit And a priority display control unit configured to display priority information.
- the priority display control unit may determine the captured image to be displayed preferentially based on information on flight of the flying object.
- the priority display control unit may determine the captured image to be displayed preferentially based on a state of the flight object in flight.
- the priority display control unit may determine the captured image to be displayed preferentially based on the information on the maneuver by the pilot.
- the priority display control unit may determine the captured image to be displayed preferentially based on an attribute related to the maneuver of the pilot or the maneuvering assistant.
- the priority display control unit may determine the captured image to be displayed preferentially according to the information related to the steering assistance by the steering assistant.
- the priority display control unit may determine the captured image to be displayed preferentially according to a method determined for each of the terminals.
- the priority display control unit may further display information on the flight of the flying object in flight on the terminal of the maneuvering assistant.
- the priority display control unit may further cause the terminal of the maneuvering assistant to display information on a delay in data communication between the own device and the terminal of the maneuvering assistant.
- the first obtaining unit obtains a captured image captured by an imaging device mounted on each of the flying bodies
- the second obtaining unit The priority display control unit acquires the captured image acquired by the first acquisition unit or the second acquisition unit for each of the aircraft.
- One of the captured images may be selected according to the purpose of steering assistance to each of the pilots, and the selected captured image may be preferentially displayed on the terminal of the steering assistant.
- steering assistance to the pilot of the flying object can be easily provided from a remote location.
- FIG. 1 shows an example of the configuration of a flight control system 1.
- FIG. FIG. 2 is a view showing an example of the appearance of a flying object 10; It is a figure which shows the hardware constitutions of the flying body 10. As shown in FIG. It is a figure which shows the hardware constitutions of the pilot terminal 30. FIG. It is a figure which shows the hardware constitutions of the supporter terminal 50.
- FIG. FIG. 2 is a diagram showing a hardware configuration of a server device 20.
- FIG. 2 is a diagram showing an example of a functional configuration of a server device 20. It is a figure which shows an example of a display image determination table.
- 5 is a sequence chart showing an example of the operation of the flight control system 1;
- FIG. 1 is a diagram showing an example of the configuration of a flight control system 1.
- the flight control system 1 is a system for controlling the flight of the flying object 10.
- the flight control system 1 includes an aircraft 10, a server device 20, a pilot terminal 30, an imaging device 40, a supporter terminal 50, and a network 60.
- the flying object 10 is a flightable device called, for example, a drone, and has an imaging function of capturing an image of itself by moving images. An image captured by this imaging function is an image when the flying object 10 is a viewpoint, and hereinafter, it is referred to as a flying object viewpoint image.
- the pilot terminal 30 is a terminal for piloting while the pilot visually recognizes the flying object 10.
- the pilot terminal 30 is wirelessly connected to the aircraft 10, and transmits a radio signal according to the operation of the pilot to the aircraft 10 to instruct its operation.
- the imaging device 40 is, for example, a camera, and captures an image of the flight of the flying object 10 as a moving image.
- the imaging device 40 has a pan-tilt function.
- the captured image is analyzed by image recognition technology to recognize the flying object 10 in the captured image, and the pan-tilt function is controlled to control the recognized flight.
- the imaging direction can be changed so as to track and capture the body 10.
- the imaging device 40 may be a stationary imaging device installed on the ground below the flight airspace of the aircraft 10 or a portable imaging device that can be carried by a human.
- the imaging device 40 and the pilot terminal 30 may be integrated.
- the imaging device 40 is portable, and is placed near the operator to image a space including the flying object 10.
- the image captured by the imaging device 40 is substantially equal to the field of view when the user views the flight of the flying object 10 from the viewpoint of the driver, and in the following, is referred to as a driver viewpoint image.
- the assistant terminal 50 is a terminal operated by a steering assistant who remotely assists the piloting by the pilot.
- the supporter terminal 50 has a display function, and can display the above-described flying object viewpoint image or the pilot viewpoint image.
- the steering assistant operates the assistant terminal 50 while watching the image to support the pilot's steering.
- the server device 20 is an information processing device that functions as a control platform that controls the flight of the flying object 10, and the flying object 10 flies by the image capturing device 40 and the flight object viewpoint image captured by the imaging function of the flying object 10.
- One of the pilot viewpoint images whose appearance has been captured is preferentially displayed on the assistant terminal 50.
- display preferentially means to display the one captured image to be displayed preferentially on the assistant terminal 50 so that the user can browse easily or easily compared to the other captured image.
- a form in which one captured image to be displayed preferentially is displayed and the other captured image is not displayed a form in which one captured image displayed preferentially is displayed larger than the other captured image, a mode in which one captured image to be displayed preferentially is displayed earlier in time than the other captured image, or a display in which one captured image to be displayed preferentially is visually emphasized in comparison to the other captured image Form etc.
- the server device 20, the pilot terminal 30, the imaging device 40, and the supporter terminal 50 are connected to the network so as to be able to communicate with the network 60 by wire or wireless.
- the network 60 is preferably a closed area network to realize low latency data transfer.
- FIG. 2 is a view showing an example of the appearance of the flying object 10.
- the flying object 10 is, for example, a so-called drone, and includes a propeller 101, a drive device 102, and a battery 103.
- the propeller 101 rotates about an axis. As the propeller 101 rotates, the flying object 10 flies.
- the driving device 102 powers and rotates the propeller 101.
- the drive device 102 includes, for example, a motor and a transmission mechanism that transmits the power of the motor to the propeller 101.
- the battery 103 supplies power to each part of the aircraft 10 including the drive device 102.
- FIG. 3 is a diagram showing the hardware configuration of the aircraft 10.
- the flying object 10 is physically configured as a computer device including a processor 11, a memory 12, a storage 13, a communication device 14, a positioning device 15, an imaging device 16, a sensor 18, a bus 17, and the like.
- the term “device” can be read as a circuit, a device, a unit, or the like.
- the processor 11 operates an operating system, for example, to control the entire computer.
- the processor 11 may be configured by a central processing unit (CPU) including an interface with a peripheral device, a control device, an arithmetic device, a register, and the like.
- CPU central processing unit
- the processor 11 reads a program (program code), a software module or data from the storage 13 and / or the communication device 14 to the memory 12 and executes various processing according to these.
- a program a program that causes a computer to execute at least a part of the operation of the flying object 10 is used.
- the various processes performed in the aircraft 10 may be performed by one processor 11 or may be performed simultaneously or sequentially by two or more processors 11.
- the processor 11 may be implemented by one or more chips.
- the program may be transmitted from the network via a telecommunication line.
- the memory 12 is a computer readable recording medium, and includes, for example, at least one of a ROM (Read Only Memory), an EPROM (Erasable Programmable ROM), an EEPROM (Electrically Erasable Programmable ROM), and a RAM (Random Access Memory). It may be done.
- the memory 12 may be called a register, a cache, a main memory (main storage device) or the like.
- the memory 12 can store a program (program code), a software module, and the like that can be executed to implement the flight control method according to the embodiment of the present invention.
- the storage 13 is a computer readable recording medium, and is, for example, an optical disk such as a CD-ROM (Compact Disc ROM), a hard disk drive, a flexible disk, a magnetooptical disk (for example, a compact disk, a digital versatile disk, Blu-ray A (registered trademark) disk, a smart card, a flash memory (for example, a card, a stick, a key drive), a floppy (registered trademark) disk, a magnetic strip, and the like may be used.
- the storage 13 may be called an auxiliary storage device.
- the communication device 14 is hardware for performing wireless communication with the pilot terminal 30.
- the positioning device 15 measures the three-dimensional position of the aircraft 10.
- the positioning device 15 is, for example, a GPS (Global Positioning System) receiver, and measures the current position of the aircraft 10 based on GPS signals received from a plurality of satellites.
- GPS Global Positioning System
- the imaging device 16 captures an image around the flying object 10.
- the imaging device 16 is, for example, a camera, and captures an image by forming an image on an imaging element using an optical system.
- the imaging device 16 captures an image of a predetermined range in front of the aircraft 10, for example.
- the imaging direction of the imaging device 16 is not limited to the front of the aircraft 10, and may be above, below, or behind the aircraft 10. Also, for example, the imaging direction may be changed by rotating a pedestal that supports the imaging device 16.
- the sensor 18 is a device for detecting various states of the aircraft 10. For example, the altitude of the aircraft 10, the velocity of the aircraft 10, the attitude of the aircraft 10, the remaining battery capacity of the aircraft 10, and the The motor rotation number, the distance between the flying object 10 and the work object, and the like are detected.
- the work object is, for example, the structure when the flying object 10 flies for imaging the structure.
- the devices such as the processor 11 and the memory 12 described above are connected by a bus 17 for communicating information.
- the bus 17 may be configured as a single bus or may be configured as different buses among the devices.
- FIG. 4 is a diagram showing a hardware configuration of the pilot terminal 30.
- the pilot terminal 30 is physically configured as a computer device including a processor 31, a memory 32, a storage 33, a first communication device 34, a second communication device 35, a UI (User Interface) portion 36, a bus 37, and the like.
- the first communication device 34 performs wireless communication with the communication device 14 of the aircraft 10.
- the second communication device 35 communicates with the server device 20 via the network 60.
- the UI unit 36 includes, for example, a display unit including a liquid crystal panel and a liquid crystal drive circuit and the like for displaying an image according to image data, and an operator such as a key and a touch sensor, for example.
- the processor 31, the memory 32, the storage 33, and the bus 37 other than the above are the same as the processor 11, the memory 12, the storage 13, and the bus 17 described above, and thus the description thereof will be omitted.
- FIG. 5 is a diagram showing a hardware configuration of the supporter terminal 50.
- the supporter terminal 50 is physically configured as a computer device including a processor 51, a memory 52, a storage 53, a communication device 54, a UI unit 55, a bus 56, and the like.
- the communication device 54 communicates with the server device 20 via the network 60.
- the processor 51, the memory 52, the storage 53, the UI unit 55, and the bus 56 other than the above are the same as the processor 11, the memory 12, the storage 13, the UI unit 36, and the bus 17 described above.
- FIG. 6 is a diagram showing a hardware configuration of the server device 20.
- the server device 20 is physically configured as a computer device including a processor 21, a memory 22, a storage 23, a communication device 24, a bus 25, and the like.
- the communication device 24 communicates with the pilot terminal 30 and the assistant terminal 50 via the network 60.
- the processor 21, the memory 22, the storage 23, and the bus 25 are similar to the processor 11, the memory 12, the storage 13, and the bus 17 described above, and thus the description thereof will be omitted.
- FIG. 7 is a diagram showing an example of a functional configuration of the server device 20.
- Each function in the server device 20 causes the processor 21 to perform an operation by reading predetermined software (program) on hardware such as the processor 21 and the memory 22, thereby performing communication by the communication device 24, the memory 22, and the storage 23. This is realized by controlling the reading and / or writing of data in
- the tracking unit 200 records the flying object identification information of the flying object 10 under the control of the server device 20 and the flight status thereof.
- the flight status includes the position where the flying object 10 is flying and the date and time at that position.
- the tracking unit 200 records position information and date and time information notified from the aircraft 10 via the pilot terminal 30.
- the tracking unit 200 determines whether the position information and the date and time information are within a previously planned flight plan, and records the determination result.
- the first acquisition unit 201 acquires an aircraft viewpoint image captured by the imaging device 16 mounted on the aircraft 10 via the pilot terminal 30.
- the second acquisition unit 202 acquires, from the imaging device 40, the operator's viewpoint image in which the imaging device 40 captures an image of how the flying object 10 flies.
- the priority display control unit 203 causes the supporter terminal 50 to preferentially display either the flying object viewpoint image acquired by the first acquisition unit 201 or the pilot viewpoint image acquired by the second acquisition unit 202. . In addition, the priority display control unit 203 causes the supporter terminal 50 to display information on the flight of the flying object 10 in flight.
- the support control unit 204 transmits support information corresponding to the content operated by the maneuvering support person at the support person terminal 50 to the pilot terminal 30.
- the assistance information is, for example, a voice or text advice or instruction for the pilot from the maneuvering assistant, or a command for controlling the flight of the flying object 10 itself.
- the support information is a command
- the flight is directly controlled by the pilot terminal 30 transmitting a command received from the support control unit 204 of the server device 20 to the aircraft 10.
- FIG. 8 shows an example of a display image determination table in which a condition for determining which one of a flying object viewpoint image and a pilot viewpoint image is to be preferentially displayed is described in the supporter terminal 50.
- the display image determination table is stored in the storage 23 of the server device 20.
- the priority display control unit 203 determines the captured image to be displayed preferentially based on the information on the flight of the flying object 10, but in the present embodiment, in particular, it is displayed preferentially based on the state of the flying object 10 in flight. Determine the captured image to be
- the state in flight includes the state detected by the sensor 18 of the flying object 10, for example, the altitude, speed, attitude, remaining battery charge, motor rotation speed, and distance to the work object of the flying object 10.
- the aircraft viewpoint image is preferentially displayed when the altitude of the flying object 10 is a certain threshold H or more, and the altitude is less than the threshold H , Display the pilot viewpoint image preferentially. That is, when considering the condition of the altitude of the flying object 10, it is easier to provide assistance if the maneuvering assistant looks at the flying object viewpoint image or if it is easier to assist if viewing the pilot viewpoint image.
- the captured image to be displayed preferentially has been decided. From this point of view, the captured image to be displayed is determined with priority regarding conditions other than the altitude, that is, the speed, attitude, remaining battery capacity, motor rotation speed, and distance to the work object of the flying object 10.
- FIG. 9 is a sequence chart showing an example of the operation of the flight control system 1.
- the processor 11 performs an operation by reading predetermined software (program) on hardware such as the processor 11 and the memory 12.
- control of communication by the communication device 14 and control of reading and / or writing of data in the memory 12 and the storage 13 mean that the processing is executed.
- the imaging device 16 of the flying object 10 starts imaging (step S11).
- the moving image data of the captured image imaged by this is transmitted to the operator terminal 30 by radio from the communication device 14 of the aircraft 10 (step S12).
- the flying object 10 is information related to the flight detected by the positioning device 15 and the sensor 18 (date and time, position of the flying object 10, altitude of the flying object 10, speed of the flying object 10, attitude of the flying object 10, flight object
- the remaining battery level 10 the motor rotation speed of the flying object 10, the distance between the flying object 10 and the work object, and the like are transmitted from the communication device 14 to the operator terminal 30 by radio.
- the operator terminal 30 transmits, to the server device 20, moving image data of the captured image received from the flying object 10 and information on flight (step S13).
- the information for example, date and time
- the imaging device 40 starts imaging in response to the operator's imaging start operation (step S14).
- the moving image data of the imaged captured image is transmitted from the imaging device 40 to the server device 20 (step S15).
- the first acquisition unit 201 of the server device 20 acquires moving image data of a captured image (aircraft viewpoint image) and information related to flight from the imaging device 16, and the second acquisition unit 202 of the server device 20 acquires the imaging device From 40, moving image data of a captured image (pilot viewpoint image) is acquired.
- the priority display control unit 203 of the server device 20 determines a captured image to be displayed on the supporter terminal 50 with reference to the display target determination table and the information on flight (step S16). Specifically, the priority display control unit 203 fits the acquired information about the flight in the display target determination table, and determines a captured image corresponding to the information as a display target.
- the display object determined by paying attention to the condition of altitude is the flying object viewpoint image
- the display object determined by paying attention to the condition of speed is the pilot viewpoint image, and so on.
- the captured images determined in accordance with the respective conditions may be different. In such a case, for example, the captured image having the larger number determined for each condition may be set as the display target.
- each condition may be determined by weighting. For example, the display object determined by paying attention to the condition of altitude is weighted by 1.1 times, the display object determined by paying attention to the condition of speed is weighted by 1.3 times, and so on. is there.
- the priority display control unit 203 of the server device 20 causes the supporter terminal 50 to preferentially display the captured image by transmitting the moving image data of the captured image to be the determined display object to the supporter terminal 50. Display control is performed (steps S17 and S18).
- the supporter terminal 50 displays an image according to the moving image data of the captured image to be the determined display target (step S19).
- the steering assistant operates the supporter terminal 50 while looking at this image.
- the assistant terminal 50 generates assistance information such as advice or instruction in the form of voice or characters for the operator or a command for controlling the flight of the aircraft 10 according to the operation of the maneuvering assistant (step S20). It transmits to the server apparatus 20 (step S21).
- the support control unit 204 performs the support control process by transmitting the support information to the pilot terminal 30 (steps S22 and S23).
- the pilot terminal 30 outputs this support information to perform processing to support the flight maneuvers of the aircraft 10 (step S24). That is, the pilot terminal 30 outputs advice or instructions in the form of voice or characters for the pilot from the UI unit 36 or transmits a command from the first communication device 34 to the aircraft 10.
- the steering assistance can be easily performed from a remote place.
- Modification 1 The conditions which determine the captured image used as the display object of a priority display are not limited to the example of embodiment.
- priority display may be performed according to steering information such as an operation amount, an operation direction, an operation frequency and the like on the pilot terminal 30 by the pilot.
- the storage image 23 stores a display image determination table in which conditions relating to the steering information are described for determining which one of the flight vehicle viewpoint image and the pilot viewpoint image is to be displayed preferentially.
- the priority display control unit 203 refers to the display image determination table based on the information and preferentially displays the table. Determine the captured image.
- the captured images to be displayed preferentially are made different. In this way, steering assistance can be realized according to the contents of the steering.
- priority display may be performed according to attributes such as the maneuvering ability and maneuvering history of the pilot or the maneuver support person.
- the display image determination table in which the condition regarding the attribute of the pilot or the steering assistant is described is used to determine which one of the aircraft viewpoint image and the pilot viewpoint image is to be displayed preferentially. Is stored in The priority display control unit 203 identifies a pilot or a steering assistant who has logged in to the system, refers to the display image determination table based on the attribute thereof, and determines a captured image to be displayed preferentially.
- the pilot's steering determined from the attribute is at a high level
- the pilot's steering is at a high level
- the pilot's steering is at a low level
- the pilot's steering is at a low level
- the captured image to be preferentially displayed is made different. In this way, steering assistance can be realized according to the attribute.
- Modification 3 Priority display may be performed according to the content of the steering assistance by the steering assistant.
- the storage image 23 stores a display image determination table in which conditions relating to steering assistance are described for determining which one of the flight vehicle viewpoint image and the pilot viewpoint image is to be displayed preferentially.
- the priority display control unit 203 acquires, from the supporter terminal 50, information (for example, the level or complexity of the support level / complexity / simplicity) regarding the steering assistance by the steering assistant and refers to the display image determination table according to the information. To determine a captured image to be displayed preferentially.
- an image that is preferentially displayed when the level of the maneuvering assistance judged from the content of the maneuvering assistance is high, when the maneuvering assistance itself is easy, and when the level of the maneuvering assistance is low or when the maneuvering assistance itself is difficult make the image different.
- steering assistance can be realized according to the content of steering assistance.
- the priority display in the case where there are a plurality of steering assistants for one pilot may be as follows. That is, when there are a plurality of supporter terminals 50, the priority display control unit 203 determines a captured image to be displayed preferentially according to the method determined for each supporter terminal 50.
- the first supporter terminal 50 is a terminal for assisting the flight of the aircraft 10 by the pilot
- the second supporter terminal 50 is a terminal for assisting imaging of the aircraft 10 by the pilot
- the first assistant terminal 50 preferentially displays a pilot's viewpoint image that is more useful for supporting the flight
- the second assistant terminal 50 gives priority to an aircraft's perspective image that is more useful for supporting the imaging.
- Each maneuvering assistant operates each assisting person terminal 50 while looking at each image according to his / her assistance purpose. In this way, steering assistance by a plurality of steering assistants can be realized for one pilot.
- the priority display may be as follows when there are a plurality of flying vehicles 10 and multiple pilots for one steering assistant.
- the first acquiring unit 201 acquires a plurality of captured images captured by the imaging device 16 mounted on each of the flying objects 10, and the second acquiring unit 202 captures an image of how each of the flying objects 10 fly. Acquire multiple captured images.
- the priority display control unit 203 is for the purpose of steering assistance for each operator of either the captured image acquired by the first acquisition unit 201 or the captured image acquired by the second acquisition unit 202 for each flight object 10.
- the selected picked up image is preferentially displayed on the terminal of the maneuvering assistant.
- the first pilot body 10 is caused to preferentially display the pilot point image of the captured flight image, and the second pilot terminal 30 With regard to support, it is possible to preferentially display an aircraft viewpoint image captured from the second aircraft 10.
- One pilot's assistant operates the assistant terminal 50 while viewing these images to perform assistance to the two pilots simultaneously or alternately. In this way, steering assistance by one steering assistant can be realized for a plurality of pilots.
- Modification 6 Information on latency in the network 60 may be displayed on the supporter terminal 50. That is, the priority display control unit 203 causes the supporter terminal 50 to display information related to a delay in data communication between the server apparatus 20 and the supporter terminal 50. Such information is also useful for steering assistance.
- the captured image designated by the steering assistant may be displayed preferentially.
- the weather forecast may be taken into consideration in determining the captured image to be displayed preferentially in the supporter terminal 50.
- Modification 8 Any method may be used to track and image the flying object 10. Further, the method of measuring the position of the flying object 10 is not limited to the method using GPS, and any method may be used. Further, the flying object 10 may be configured to be able to communicate via the network 60, and the flying object 10 may communicate with the server device 20 or the supporter terminal 50 without passing through the pilot terminal 30.
- each functional block may be realized by one physically and / or logically coupled device, or directly and / or indirectly two or more physically and / or logically separated devices. It may be connected by (for example, wired and / or wireless) and realized by the plurality of devices.
- at least a part of the functions of the server device 20 may be implemented in the pilot terminal 30 or the assistant terminal 50.
- at least a part of the functions of the pilot terminal 30 or the assistant terminal 50 may be implemented in the server device 20.
- Each aspect / embodiment described in the present specification is LTE (Long Term Evolution), LTE-A (LTE-Advanced), SUPER 3G, IMT-Advanced, 4G, 5G, FRA (Future Radio Access), W-CDMA (Registered trademark), GSM (registered trademark), CDMA2000, UMB (Ultra Mobile Broadband), IEEE 802.11 (Wi-Fi), IEEE 802.16 (WiMAX), IEEE 802.20, UWB (Ultra-Wide Band),
- the present invention may be applied to a system utilizing Bluetooth (registered trademark), other appropriate systems, and / or an advanced next-generation system based on these.
- system and "network” as used herein are used interchangeably.
- radio resources may be indexed.
- determining may encompass a wide variety of operations. For example, “judgment” and “decision” may be judging, calculating, calculating, processing, processing, deriving, investigating, looking up (for example, a table) (Searching in a database or another data structure), ascertaining may be considered as “decision” or “decision”. Also, “determination” and “determination” are receiving (for example, receiving information), transmitting (for example, transmitting information), input (input), output (output), access (Accessing) (for example, accessing data in a memory) may be regarded as “determined” or “determined”.
- the present invention may be provided as a flight control method comprising the steps of processing performed in the flight control system 1.
- the present invention may be provided as a program executed by the server device 20, the aircraft 10, the pilot terminal 30, or the assistant terminal 50.
- a program may be provided in the form of being recorded in a recording medium such as an optical disk, or may be provided in the form of being downloaded to a computer via a network such as the Internet and installed and made available. It is possible.
- Software, instructions, etc. may be sent and received via a transmission medium.
- software may use a wireline technology such as coaxial cable, fiber optic cable, twisted pair and digital subscriber line (DSL) and / or a website, server or other using wireless technology such as infrared, radio and microwave When transmitted from a remote source, these wired and / or wireless technologies are included within the definition of transmission medium.
- wireline technology such as coaxial cable, fiber optic cable, twisted pair and digital subscriber line (DSL) and / or a website, server or other using wireless technology such as infrared, radio and microwave
- data, instructions, commands, information, signals, bits, symbols, chips etc may be voltage, current, electromagnetic waves, magnetic fields or particles, optical fields or photons, or any of these May be represented by a combination of
- the channels and / or symbols may be signals.
- the signal may be a message.
- the component carrier (CC) may be called a carrier frequency, a cell or the like.
- any reference to an element using the designation "first,” “second,” etc. as used herein does not generally limit the quantity or order of those elements. These designations may be used herein as a convenient way of distinguishing between two or more elements. Thus, reference to the first and second elements does not mean that only two elements can be taken there, or that in any way the first element must precede the second element.
- each device described above may be replaced with a “unit”, a “circuit”, a “device” or the like.
- Flight control system 10 Flight object 20: Server device 21: Processor 22: Memory 23: Storage 24: Communication device 200: Tracking unit 201: First acquisition unit 202: Second acquisition Section 203: Priority display control section 204: Support control section 30: Pilot terminal 40: Imaging device 50: Supporter terminal.
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Aviation & Aerospace Engineering (AREA)
- Automation & Control Theory (AREA)
- Traffic Control Systems (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
飛行体の操縦者に対する操縦支援を遠隔地から容易に行い得るようにする。 サーバ装置(20)は、飛行体(10)の撮像機能によって撮像された撮像画像(飛行体視点画像)と、撮像装置40によって飛行体(10)が飛行する様子が撮像された撮像画像(操縦者視点画像)とのうち、いずれかを優先的に支援者端末(50)に提供する。サーバ装置(20)、飛行体の飛行に関する情報に基づいて、優先的に表示させる撮像画像を決定する。サーバ装置(20)は、例えば飛行体の飛行中の状態に基づいて、優先的に表示させる撮像画像を決定する。飛行中の状態には、例えば飛行体(10)の高度、速度、姿勢、電池残量、モータ回転数、作業対象物との距離が含まれる。
Description
本発明は、飛行体の操縦者に対する操縦支援に関する。
飛行体を制御する技術として、例えば特許文献1には、飛行体に設けられた発光体からの発光を、移動機構に設けられたカメラで追随させることで、飛行体の飛行状態を撮像し、その撮像画像を遠隔地にて表示させる仕組みが開示されている。
近年、ドローンと呼ばれる飛行体を利用したサービスとして様々なものが普及しつつある。このような状況において、例えば、飛行体の操縦に不慣れな操縦者に対してその操縦を遠隔から支援するような仕組みが考えられている。そこで、本発明は、飛行体の操縦者に対する操縦支援を遠隔地から容易に行い得る仕組みを提供することを目的とする。
上記課題を解決するため、本発明は、飛行体に搭載された撮像装置により撮像された撮像画像を取得する第1取得部と、前記飛行体が飛行する様子が撮像された撮像画像を取得する第2取得部と、前記飛行体の操縦者による操縦を支援する操縦支援者の端末において、前記第1取得部により取得された撮像画像又は前記第2取得部により取得された撮像画像のうちいずれかを優先的に表示させる優先表示制御部とを備えることを特徴とする情報処理装置を提供する。
前記優先表示制御部は、前記飛行体の飛行に関する情報に基づいて、優先的に表示させる前記撮像画像を決定するようにしてもよい。
前記優先表示制御部は、前記飛行体の飛行中の状態に基づいて、優先的に表示させる前記撮像画像を決定するようにしてもよい。
前記優先表示制御部は、前記操縦者による操縦に関する情報に基づいて、優先的に表示させる前記撮像画像を決定するようにしてもよい。
前記優先表示制御部は、前記操縦者又は前記操縦支援者の操縦に関する属性に基づいて、優先的に表示させる前記撮像画像を決定するようにしてもよい。
前記優先表示制御部は、前記操縦支援者による操縦の支援に関する情報に応じて、優先的に表示させる前記撮像画像を決定するようにしてもよい。
前記操縦支援者の端末が複数ある場合に、前記優先表示制御部は、前記端末ごとに決められた方法に従って、優先的に表示させる前記撮像画像を決定するようにしてもよい。
前記優先表示制御部は、さらに、飛行している前記飛行体の飛行に関する情報を、前記操縦支援者の端末に表示させるようにしてもよい。
前記優先表示制御部は、さらに、自装置と前記操縦支援者の端末との間のデータ通信の遅延に関する情報を、前記操縦支援者の端末に表示させるようにしてもよい。
前記飛行体及び前記操縦者がそれぞれ複数いる場合に、前記第1取得部は、各々の前記飛行体に搭載された撮像装置により撮像された撮像画像を取得し、前記第2取得部は、各々の前記飛行体が飛行する様子が撮像された撮像画像を取得し、前記優先表示制御部は、各々の前記飛行体について前記第1取得部により取得された撮像画像又は前記第2取得部により取得された撮像画像のうちいずれかを各々の前記操縦者に対する操縦支援の目的に応じて選択し、選択した撮像画像を前記操縦支援者の端末において優先的に表示させるようにしてもよい。
本発明によれば、飛行体の操縦者に対する操縦支援を遠隔地から容易に行い得る。
構成
図1は、飛行制御システム1の構成の一例を示す図である。飛行制御システム1は、飛行体10の飛行を制御するためのシステムである。飛行制御システム1は、飛行体10と、サーバ装置20と、操縦者端末30と、撮像装置40と、支援者端末50と、ネットワーク60とを備える。飛行体10は、例えばドローンと呼ばれる飛行可能な装置であり、自身の周囲を動画によって撮像する撮像機能を備えている。この撮像機能によって撮像された画像は、飛行体10を視点としたときの画像であり、以下では、飛行体視点画像という。
図1は、飛行制御システム1の構成の一例を示す図である。飛行制御システム1は、飛行体10の飛行を制御するためのシステムである。飛行制御システム1は、飛行体10と、サーバ装置20と、操縦者端末30と、撮像装置40と、支援者端末50と、ネットワーク60とを備える。飛行体10は、例えばドローンと呼ばれる飛行可能な装置であり、自身の周囲を動画によって撮像する撮像機能を備えている。この撮像機能によって撮像された画像は、飛行体10を視点としたときの画像であり、以下では、飛行体視点画像という。
操縦者端末30は、操縦者が飛行体10を視認しながら操縦するための端末である。操縦者端末30は、飛行体10と無線接続されており、操縦者の操作に応じた無線信号を飛行体10に送信してその動作を指示する。
撮像装置40は、例えばカメラであり、飛行体10が飛行する様子を動画によって撮像する。この撮像装置40はパン・チルト機能を備えており、例えば撮像した画像を画像認識技術によって解析して撮像画像中の飛行体10を認識し、パン・チルト機能を制御することで、認識した飛行体10を追尾して撮像するよう撮像方向を変更し得るようになっている。この撮像装置40は、飛行体10の飛行空域下方の地上に設置された固定型の撮像装置であってもよいし、人間が持ち運び可能な可搬型の撮像装置であってもよい。また、撮像装置40と操縦者端末30とが一体であってもよい。本実施形態では撮像装置40は可搬型であり、操縦者の傍に置かれて飛行体10を含む空間を撮像する。撮像装置40によって撮像された画像は、操縦者の視点から飛行体10の飛行を見たときの視界とほぼ等しく、以下では、操縦者視点画像という。
支援者端末50は、操縦者による操縦を遠隔から支援する操縦支援者が操作するための端末である。支援者端末50は表示機能を備えており、前述した飛行体視点画像又は操縦者視点画像を表示し得るようになっている。操縦支援者はこの画像を見ながら支援者端末50を操作して、操縦者の操縦を支援する。
サーバ装置20は、飛行体10の飛行を制御する制御プラットフォームとして機能する情報処理装置であり、飛行体10の撮像機能によって撮像された飛行体視点画像と、撮像装置40によって飛行体10が飛行する様子が撮像された操縦者視点画像とのうち、いずれかを優先的に支援者端末50に表示させる。ここで、優先的に表示させる、とは、優先的に表示させる一方の撮像画像を他方の撮像画像に比べてユーザが容易に又は分かりやすく閲覧できるように支援者端末50に表示させることを意味しており、例えば、優先的に表示させる一方の撮像画像を表示させて他方の撮像画像を表示させない形態や、優先的に表示させる一方の撮像画像を他方の撮像画像よりも大きく表示させる形態や、優先的に表示させる一方の撮像画像を他方の撮像画像よりも時間的に先に表示させる形態や、優先的に表示させる一方の撮像画像を他方の撮像画像よりも視覚的に強調して表示させる形態などを含む。
サーバ装置20、操縦者端末30、撮像装置40及び支援者端末50はそれぞれ、ネットワークに60との間で有線又は無線により通信可能となるように接続されている。このネットワーク60は、低レイテンシでのデータ転送を実現するべく、閉域ネットワークであることが望ましい。
図2は、飛行体10の外観の一例を示す図である。飛行体10は、例えばドローンと呼ばれるものであり、プロペラ101と、駆動装置102と、バッテリー103とを備える。
プロペラ101は、軸を中心に回転する。プロペラ101が回転することにより、飛行体10が飛行する。駆動装置102は、プロペラ101に動力を与えて回転させる。駆動装置102は、例えばモータとモータの動力をプロペラ101に伝達する伝達機構とを含む。バッテリー103は、駆動装置102を含む飛行体10の各部に電力を供給する。
図3は、飛行体10のハードウェア構成を示す図である。飛行体10は、物理的には、プロセッサ11、メモリ12、ストレージ13、通信装置14、測位装置15、撮像装置16、センサ18及びバス17などを含むコンピュータ装置として構成されている。なお、以下の説明では、「装置」という文言は、回路、デバイス、ユニットなどに読み替えることができる。
プロセッサ11は、例えば、オペレーティングシステムを動作させてコンピュータ全体を制御する。プロセッサ11は、周辺装置とのインターフェース、制御装置、演算装置、レジスタなどを含む中央処理装置(CPU:Central Processing Unit)で構成されてもよい。
また、プロセッサ11は、プログラム(プログラムコード)、ソフトウェアモジュールやデータを、ストレージ13及び/又は通信装置14からメモリ12に読み出し、これらに従って各種の処理を実行する。プログラムとしては、飛行体10の動作の少なくとも一部をコンピュータに実行させるプログラムが用いられる。飛行体10において実行される各種処理は、1つのプロセッサ11により実行されてもよいし、2以上のプロセッサ11により同時又は逐次に実行されてもよい。プロセッサ11は、1以上のチップで実装されてもよい。なお、プログラムは、電気通信回線を介してネットワークから送信されても良い。
メモリ12は、コンピュータ読み取り可能な記録媒体であり、例えば、ROM(Read Only Memory)、EPROM(Erasable Programmable ROM)、EEPROM(Electrically Erasable Programmable ROM)、RAM(Random Access Memory)などの少なくとも1つで構成されてもよい。メモリ12は、レジスタ、キャッシュ、メインメモリ(主記憶装置)などと呼ばれてもよい。メモリ12は、本発明の一実施の形態に係る飛行制御方法を実施するために実行可能なプログラム(プログラムコード)、ソフトウェアモジュールなどを保存することができる。
ストレージ13は、コンピュータ読み取り可能な記録媒体であり、例えば、CD-ROM(Compact Disc ROM)などの光ディスク、ハードディスクドライブ、フレキシブルディスク、光磁気ディスク(例えば、コンパクトディスク、デジタル多用途ディスク、Blu-ray(登録商標)ディスク)、スマートカード、フラッシュメモリ(例えば、カード、スティック、キードライブ)、フロッピー(登録商標)ディスク、磁気ストリップなどの少なくとも1つで構成されてもよい。ストレージ13は、補助記憶装置と呼ばれてもよい。
通信装置14は、操縦者端末30と無線通信を行うためのハードウェアである。
測位装置15は、飛行体10の三次元の位置を測定する。測位装置15は、例えばGPS(Global Positioning System)受信機であり、複数の衛星から受信したGPS信号に基づいて飛行体10の現在位置を測定する。
撮像装置16は、飛行体10の周囲の画像を撮像する。撮像装置16は、例えばカメラであり、光学系を用いて撮像素子上に像を結ばせることにより、画像を撮像する。撮像装置16は、例えば飛行体10の前方において所定の範囲の画像を撮像する。ただし、撮像装置16の撮像方向は、飛行体10の前方に限定されず、飛行体10の上方、下方、又は後方であってもよい。また、例えば撮像装置16を支持する台座が回転することにより、撮像方向が変更されてもよい。
センサ18は、飛行体10の各種状態を検知するためのデバイスであり、例えば飛行体10の高度、飛行体10の速度、飛行体10の姿勢、飛行体10の電池残量、飛行体10のモータ回転数、飛行体10と作業対象物との距離等を検知する。なお、作業対象物とは、例えば飛行体10が建造物の撮像を行うために飛行する場合、その建造物のことである。
上述したプロセッサ11やメモリ12などの各装置は、情報を通信するためのバス17で接続される。バス17は、単一のバスで構成されてもよいし、装置間で異なるバスで構成されてもよい。
図4は、操縦者端末30のハードウェア構成を示す図である。操縦者端末30は、物理的には、プロセッサ31、メモリ32、ストレージ33、第1通信装置34、第2通信装置35、UI(User Interface)部36及びバス37などを含むコンピュータ装置として構成されている。第1通信装置34は、飛行体10の通信装置14と無線通信を行う。第2通信装置35は、ネットワーク60を介してサーバ装置20と通信を行う。UI部36は、例えば液晶パネル及び液晶駆動回路などを含み画像データに応じた画像を表示する表示部と、例えばキーやタッチセンサなどの操作子を含みユーザの操作を受け付けてその操作に応じた信号をプロセッサ31に供給する操作部とを備えている。これ以外のプロセッサ31、メモリ32、ストレージ33及びバス37は、上述したプロセッサ11、メモリ12、ストレージ13及びバス17と同様であるため、その説明を省略する。
図5は、支援者端末50のハードウェア構成を示す図である。支援者端末50は、物理的には、プロセッサ51、メモリ52、ストレージ53、通信装置54、UI部55及びバス56などを含むコンピュータ装置として構成されている。通信装置54はネットワーク60を介してサーバ装置20と通信を行う。これ以外のプロセッサ51、メモリ52、ストレージ53、UI部55及びバス56は、上述したプロセッサ11、メモリ12、ストレージ13、UI部36及びバス17と同様であるため、その説明を省略する。
図6は、サーバ装置20のハードウェア構成を示す図である。サーバ装置20は、物理的には、プロセッサ21、メモリ22、ストレージ23、通信装置24及びバス25などを含むコンピュータ装置として構成されている。通信装置24はネットワーク60を介して操縦者端末30及び支援者端末50と通信を行う。プロセッサ21、メモリ22、ストレージ23、及びバス25は、上述したプロセッサ11、メモリ12、ストレージ13、及びバス17と同様であるため、その説明を省略する。
図7は、サーバ装置20の機能構成の一例を示す図である。サーバ装置20における各機能は、プロセッサ21、メモリ22などのハードウェア上に所定のソフトウェア(プログラム)を読み込ませることで、プロセッサ21が演算を行い、通信装置24による通信や、メモリ22及びストレージ23におけるデータの読み出し及び/又は書き込みを制御することにより実現される。
図7において、トラッキング部200は、サーバ装置20の制御下にある飛行体10の飛行体識別情報とその飛行状況を記録する。飛行状況には飛行体10が飛行している位置とその位置における日時が含まれている。トラッキング部200は、飛行体10から操縦者端末30を介して通知される位置情報及び日時情報を記録する。また、トラッキング部200は、その位置情報及び日時情報が、予め計画された飛行計画内であるかどうかを判断し、その判断結果を記録する。
第1取得部201は、飛行体10に搭載された撮像装置16により撮像された飛行体視点画像を操縦者端末30経由で取得する。第2取得部202は、撮像装置40によって飛行体10が飛行する様子が撮像された操縦者視点画像を撮像装置40から取得する。
優先表示制御部203は、支援者端末50において、第1取得部201により取得された飛行体視点画像又は第2取得部202により取得された操縦者視点画像のうちいずれかを優先的に表示させる。また、優先表示制御部203は、飛行している飛行体10の飛行に関する情報を支援者端末50に表示させる。
支援制御部204は、支援者端末50において操縦支援者により操作された内容に応じた支援情報を操縦者端末30に送信する。この支援情報は、例えば、操縦支援者から操縦者に対する音声又は文字によるアドバイス乃至指示や、飛行体10の飛行そのものを制御するコマンドである。支援情報がコマンドである場合、操縦者端末30がサーバ装置20の支援制御部204から受け取ったコマンドを飛行体10に送信することで、その飛行が直接制御される。
図8は、支援者端末50において、飛行体視点画像又は操縦者視点画像のうちいずれを優先的に表示させるかを決定するための条件が記述された表示画像決定テーブルの一例を示している。この表示画像決定テーブルは、サーバ装置20のストレージ23に記憶される。優先表示制御部203は、飛行体10の飛行に関する情報に基づいて優先的に表示させる撮像画像を決定するが、特に本実施形態では、飛行体10の飛行中の状態に基づいて優先的に表示させる撮像画像を決定する。
ここで、飛行中の状態には、飛行体10のセンサ18によって検知される状態、例えば飛行体10の高度、速度、姿勢、電池残量、モータ回転数、作業対象物との距離が含まれる。例えば高度という条件に基づいて表示対象となる撮像画像を決定する場合、飛行体10の高度が或る閾値H以上のときには、飛行体視点画像を優先的に表示し、高度が閾値H未満のときには、操縦者視点画像を優先的に表示する。つまり、飛行体10の高度という条件を考えたときに、操縦支援者が飛行体視点画像を見たほうが支援を行いやすいのか或いは操縦者視点画像を見たほうが支援を行いやすいのかという観点で、優先的に表示させる撮像画像が決まっている。このような観点に従って、高度以外の条件、つまり飛行体10の速度、姿勢、電池残量、モータ回転数、作業対象物との距離に関しても、優先的に表示する撮像画像が決まることになる。
動作
図9は、飛行制御システム1の動作の一例を示すシーケンスチャートである。以下の説明において、飛行体10を処理の主体として記載する場合には、具体的にはプロセッサ11、メモリ12などのハードウェア上に所定のソフトウェア(プログラム)を読み込ませることで、プロセッサ11が演算を行い、通信装置14による通信や、メモリ12及びストレージ13におけるデータの読み出し及び/又は書き込みを制御することにより、処理が実行されることを意味する。サーバ装置20、操縦者端末30、支援者端末50についても同様である。
図9は、飛行制御システム1の動作の一例を示すシーケンスチャートである。以下の説明において、飛行体10を処理の主体として記載する場合には、具体的にはプロセッサ11、メモリ12などのハードウェア上に所定のソフトウェア(プログラム)を読み込ませることで、プロセッサ11が演算を行い、通信装置14による通信や、メモリ12及びストレージ13におけるデータの読み出し及び/又は書き込みを制御することにより、処理が実行されることを意味する。サーバ装置20、操縦者端末30、支援者端末50についても同様である。
飛行体10が飛行を開始すると、飛行体10の撮像装置16は撮像を開始する(ステップS11)。これにより撮像された撮像画像の動画データは、飛行体10の通信装置14から無線により操縦者端末30に送信される(ステップS12)。このとき、飛行体10は、測位装置15及びセンサ18により検知された飛行に関する情報(日時、飛行体10の位置、飛行体10の高度、飛行体10の速度、飛行体10の姿勢、飛行体10の電池残量、飛行体10のモータ回転数、飛行体10と作業対象物との距離、等を含む)を、通信装置14から無線により操縦者端末30に送信する。操縦者端末30は、飛行体10から受信した撮像画像の動画データ及び飛行に関する情報をサーバ装置20に送信する(ステップS13)。なお、飛行に関する情報のうち操縦者端末30が生成し得るもの(例えば日時)は、操縦者端末30が生成してサーバ装置20に送信してもよい。
一方、撮像装置40は、操縦者の撮像開始操作に応じて撮像を開始する(ステップS14)。撮像された撮像画像の動画データは、撮像装置40からサーバ装置20に送信される(ステップS15)。これにより、サーバ装置20の第1取得部201は、撮像装置16から撮像画像(飛行体視点画像)の動画データ及び飛行に関する情報を取得し、サーバ装置20の第2取得部202は、撮像装置40から撮像画像(操縦者視点画像)の動画データを取得する。
サーバ装置20の優先表示制御部203は、表示対象決定テーブルと飛行に関する情報とを参照して、支援者端末50において表示対象となる撮像画像を決定する(ステップS16)。具体的には、優先表示制御部203は、表示対象決定テーブルにおいて、取得した飛行に関する情報を当て嵌め、その情報に対応する撮像画像を表示対象として決定する。このとき、例えば高度という条件に注目して決定される表示対象が飛行体視点画像であり、速度という条件に注目して決定される表示対象が操縦者視点画像であり、・・・というようにそれぞれの条件に応じて決定される撮像画像が異なる場合がある。このようなときには、例えば各条件に付いて決定された数が多いほうの撮像画像を表示対象とすればよい。さらに各条件について重みをつけて決定してもよい。例えば高度という条件に注目して決定される表示対象については1.1倍という重みをつけ、速度という条件に注目して決定される表示対象については1.3倍という重みをつけ、といった具合である。
そして、サーバ装置20の優先表示制御部203は、決定された表示対象となる撮像画像の動画データを支援者端末50に送信することで、支援者端末50においてその撮像画像を優先的に表示させる表示制御を行う(ステップS17,S18)。
支援者端末50は、決定された表示対象となる撮像画像の動画データに応じた画像を表示する(ステップS19)。操縦支援者はこの画像を見ながら支援者端末50を操作する。支援者端末50は、操縦支援者の操作に応じて、操縦者に対する音声又は文字によるアドバイス乃至指示や、飛行体10の飛行そのものを制御するコマンド等の支援情報を生成して(ステップS20)、サーバ装置20に送信する(ステップS21)。支援制御部204は、この支援情報を操縦者端末30に送信することで、支援制御処理を行う(ステップS22,S23)。操縦者端末30は、この支援情報を出力して飛行体10の飛行の操縦を支援する処理を行う(ステップS24)。つまり、操縦者端末30は、操縦者に対する音声又は文字によるアドバイス乃至指示をUI部36から出力したり、第1通信装置34から飛行体10にコマンドを送信したりする。
以上説明した実施形態によれば、操縦支援者に対して、その操縦支援に適切な画像が優先的に表示されるので、遠隔地から容易に操縦支援を行うことができる。
変形例
本発明は、上述した実施形態に限定されない。上述した実施形態を以下のように変形してもよい。また、以下の2つ以上の変形例を組み合わせて実施してもよい。
本発明は、上述した実施形態に限定されない。上述した実施形態を以下のように変形してもよい。また、以下の2つ以上の変形例を組み合わせて実施してもよい。
変形例1
優先表示の表示対象となる撮像画像を決定する条件は、実施形態の例に限定されない。例えば操縦者による操縦者端末30における操作量、操作方向、操作頻度等の操縦情報に応じた優先表示を行ってもよい。この例において、飛行体視点画像又は操縦者視点画像のうちいずれを優先的に表示させるかを決定するための、操縦情報に関する条件が記述された表示画像決定テーブルがストレージ23に記憶されている。優先表示制御部203は、第1取得部201が操縦者端末30から上記のような操縦者による操縦に関する情報を取得すると、これに基づいて表示画像決定テーブルを参照して、優先的に表示させる撮像画像を決定する。例えば操縦情報から判断される操縦者の操縦が高レベルにあるとか操縦そのものが容易であるときと、操縦情報から判断される操縦者の操縦が低レベルにあるとか操縦そのものが困難であるときとで、優先的に表示させる撮像画像を異ならせる。このようにすれば操縦内容に応じた操縦支援を実現し得る。
優先表示の表示対象となる撮像画像を決定する条件は、実施形態の例に限定されない。例えば操縦者による操縦者端末30における操作量、操作方向、操作頻度等の操縦情報に応じた優先表示を行ってもよい。この例において、飛行体視点画像又は操縦者視点画像のうちいずれを優先的に表示させるかを決定するための、操縦情報に関する条件が記述された表示画像決定テーブルがストレージ23に記憶されている。優先表示制御部203は、第1取得部201が操縦者端末30から上記のような操縦者による操縦に関する情報を取得すると、これに基づいて表示画像決定テーブルを参照して、優先的に表示させる撮像画像を決定する。例えば操縦情報から判断される操縦者の操縦が高レベルにあるとか操縦そのものが容易であるときと、操縦情報から判断される操縦者の操縦が低レベルにあるとか操縦そのものが困難であるときとで、優先的に表示させる撮像画像を異ならせる。このようにすれば操縦内容に応じた操縦支援を実現し得る。
変形例2
また、操縦者又は操縦支援者の操縦能力や操縦歴などの属性に応じた優先表示を行ってもよい。この例において、飛行体視点画像又は操縦者視点画像のうちいずれを優先的に表示させるかを決定するための、操縦者又は操縦支援者の属性に関する条件が記述された表示画像決定テーブルがストレージ23に記憶されている。優先表示制御部203は、システムにログインした操縦者又は操縦支援者を識別し、その属性に基づいて表示画像決定テーブルを参照して、優先的に表示させる撮像画像を決定する。例えば属性から判断される操縦者の操縦が高レベルにあるとき、操縦支援者の操縦が高レベルであるとき、操縦者の操縦が低レベルにあるとき、操縦支援者の操縦が低レベルであるときとで、優先的に表示させる撮像画像を異ならせる。このようにすれば属性に応じた操縦支援を実現し得る。
また、操縦者又は操縦支援者の操縦能力や操縦歴などの属性に応じた優先表示を行ってもよい。この例において、飛行体視点画像又は操縦者視点画像のうちいずれを優先的に表示させるかを決定するための、操縦者又は操縦支援者の属性に関する条件が記述された表示画像決定テーブルがストレージ23に記憶されている。優先表示制御部203は、システムにログインした操縦者又は操縦支援者を識別し、その属性に基づいて表示画像決定テーブルを参照して、優先的に表示させる撮像画像を決定する。例えば属性から判断される操縦者の操縦が高レベルにあるとき、操縦支援者の操縦が高レベルであるとき、操縦者の操縦が低レベルにあるとき、操縦支援者の操縦が低レベルであるときとで、優先的に表示させる撮像画像を異ならせる。このようにすれば属性に応じた操縦支援を実現し得る。
変形例3
操縦支援者による操縦支援の内容に応じた優先表示を行ってもよい。この例において、飛行体視点画像又は操縦者視点画像のうちいずれを優先的に表示させるかを決定するための、操縦の支援に関する条件が記述された表示画像決定テーブルがストレージ23に記憶されている。優先表示制御部203は、支援者端末50から操縦支援者による操縦の支援に関する情報(例えば支援レベルの高低や複雑さ/簡単さ)を取得し、その情報に応じて表示画像決定テーブルを参照して、優先的に表示させる撮像画像を決定する。例えば操縦支援の内容から判断される操縦支援のレベルが高いとか操縦支援そのものが容易であるときと、操縦支援のレベルが低いとか操縦支援そのものが困難であるときとで、優先的に表示させる撮像画像を異ならせる。このようにすれば操縦支援の内容に応じた操縦支援を実現し得る。
操縦支援者による操縦支援の内容に応じた優先表示を行ってもよい。この例において、飛行体視点画像又は操縦者視点画像のうちいずれを優先的に表示させるかを決定するための、操縦の支援に関する条件が記述された表示画像決定テーブルがストレージ23に記憶されている。優先表示制御部203は、支援者端末50から操縦支援者による操縦の支援に関する情報(例えば支援レベルの高低や複雑さ/簡単さ)を取得し、その情報に応じて表示画像決定テーブルを参照して、優先的に表示させる撮像画像を決定する。例えば操縦支援の内容から判断される操縦支援のレベルが高いとか操縦支援そのものが容易であるときと、操縦支援のレベルが低いとか操縦支援そのものが困難であるときとで、優先的に表示させる撮像画像を異ならせる。このようにすれば操縦支援の内容に応じた操縦支援を実現し得る。
変形例4
1人の操縦者に対して操縦支援者が複数いる場合の優先表示は次のようにしてもよい。つまり、支援者端末50が複数ある場合に、優先表示制御部203は、支援者端末50ごとに決められた方法に従って、優先的に表示させる撮像画像を決定する。例えば、第1の支援者端末50は操縦者による飛行体10の飛行を支援するための端末であり、第2の支援者端末50は操縦者による飛行体10からの撮像を支援するための端末である場合、第1の支援者端末50には飛行の支援により役立つ操縦者視点画像を優先的に表示させ、第2の支援者端末50には撮像の支援により役立つ飛行体視点画像を優先的に表示させる、といった具合である。各々の操縦支援者は、自身の支援目的に従って、それぞれの画像を見ながら各支援者端末50を操作する。このようにすれば、1人の操縦者に対して複数の操縦支援者による操縦支援を実現し得る。
1人の操縦者に対して操縦支援者が複数いる場合の優先表示は次のようにしてもよい。つまり、支援者端末50が複数ある場合に、優先表示制御部203は、支援者端末50ごとに決められた方法に従って、優先的に表示させる撮像画像を決定する。例えば、第1の支援者端末50は操縦者による飛行体10の飛行を支援するための端末であり、第2の支援者端末50は操縦者による飛行体10からの撮像を支援するための端末である場合、第1の支援者端末50には飛行の支援により役立つ操縦者視点画像を優先的に表示させ、第2の支援者端末50には撮像の支援により役立つ飛行体視点画像を優先的に表示させる、といった具合である。各々の操縦支援者は、自身の支援目的に従って、それぞれの画像を見ながら各支援者端末50を操作する。このようにすれば、1人の操縦者に対して複数の操縦支援者による操縦支援を実現し得る。
変形例5
1人の操縦支援者に対して飛行体10及び操縦者がそれぞれ複数いる場合の優先表示は次のようにしてもよい。第1取得部201は、各々の飛行体10に搭載された撮像装置16により撮像された複数の撮像画像を取得し、第2取得部202は、各々の飛行体10が飛行する様子が撮像された複数の撮像画像を取得する。優先表示制御部203は、各々の飛行体10について第1取得部201により取得された撮像画像又は第2取得部202により取得された撮像画像のうちいずれかを各々の操縦者に対する操縦支援の目的に応じて選択し、選択した撮像画像を操縦支援者の端末において優先的に表示させる。例えば、第1の操縦者端末30に対しては第1の飛行体10の飛行を支援し、第2の操縦者端末30に対しては第2の飛行体10による撮像を支援する場合、1の支援者端末50において、第1の操縦者端末30の支援に関しては第1の飛行体10に飛行の様子を撮像した操縦者視点画像を優先的に表示させ、第2の操縦者端末30の支援に関しては第2の飛行体10から撮像された飛行体視点画像を優先的に表示させるといった具合である。1人の操縦支援者はこれらの画像を見ながら支援者端末50を操作して、2人の操縦者に対する支援を同時又は交互に行う。このようにすれば、複数の操縦者に対して1人の操縦支援者による操縦支援を実現し得る。
1人の操縦支援者に対して飛行体10及び操縦者がそれぞれ複数いる場合の優先表示は次のようにしてもよい。第1取得部201は、各々の飛行体10に搭載された撮像装置16により撮像された複数の撮像画像を取得し、第2取得部202は、各々の飛行体10が飛行する様子が撮像された複数の撮像画像を取得する。優先表示制御部203は、各々の飛行体10について第1取得部201により取得された撮像画像又は第2取得部202により取得された撮像画像のうちいずれかを各々の操縦者に対する操縦支援の目的に応じて選択し、選択した撮像画像を操縦支援者の端末において優先的に表示させる。例えば、第1の操縦者端末30に対しては第1の飛行体10の飛行を支援し、第2の操縦者端末30に対しては第2の飛行体10による撮像を支援する場合、1の支援者端末50において、第1の操縦者端末30の支援に関しては第1の飛行体10に飛行の様子を撮像した操縦者視点画像を優先的に表示させ、第2の操縦者端末30の支援に関しては第2の飛行体10から撮像された飛行体視点画像を優先的に表示させるといった具合である。1人の操縦支援者はこれらの画像を見ながら支援者端末50を操作して、2人の操縦者に対する支援を同時又は交互に行う。このようにすれば、複数の操縦者に対して1人の操縦支援者による操縦支援を実現し得る。
変形例6
支援者端末50において、ネットワーク60におけるレイテンシに関する情報を表示するようにしてもよい。つまり、優先表示制御部203は、自サーバ装置20と支援者端末50との間のデータ通信の遅延に関する情報を、支援者端末50に表示させる。このような情報も操縦支援に役立つことになる。
支援者端末50において、ネットワーク60におけるレイテンシに関する情報を表示するようにしてもよい。つまり、優先表示制御部203は、自サーバ装置20と支援者端末50との間のデータ通信の遅延に関する情報を、支援者端末50に表示させる。このような情報も操縦支援に役立つことになる。
変形例7
支援者端末50において、操縦支援者によって指定された撮像画像を優先的に表示させてもよい。支援者端末50において、優先表示する撮像画像の決定に、気象予報を考慮してもよい。
支援者端末50において、操縦支援者によって指定された撮像画像を優先的に表示させてもよい。支援者端末50において、優先表示する撮像画像の決定に、気象予報を考慮してもよい。
変形例8
飛行体10を追尾して撮像するための方法はどのようなものでもよい。また、飛行体10の位置を測定する方法は、GPSを用いた方法に限定されず、どのようなものでもよい。また、飛行体10はネットワーク60を介して通信可能な構成とし、飛行体10が、操縦者端末30を経由せずに、サーバ装置20又は支援者端末50と通信を行ってもよい。
飛行体10を追尾して撮像するための方法はどのようなものでもよい。また、飛行体10の位置を測定する方法は、GPSを用いた方法に限定されず、どのようなものでもよい。また、飛行体10はネットワーク60を介して通信可能な構成とし、飛行体10が、操縦者端末30を経由せずに、サーバ装置20又は支援者端末50と通信を行ってもよい。
そのほかの変形例
上記実施の形態の説明に用いたブロック図は、機能単位のブロックを示している。これらの機能ブロック(構成部)は、ハードウェア及び/又はソフトウェアの任意の組み合わせによって実現される。また、各機能ブロックの実現手段は特に限定されない。すなわち、各機能ブロックは、物理的及び/又は論理的に結合した1つの装置により実現されてもよいし、物理的及び/又は論理的に分離した2つ以上の装置を直接的及び/又は間接的に(例えば、有線及び/又は無線)で接続し、これら複数の装置により実現されてもよい。また、サーバ装置20の機能の少なくとも一部が操縦者端末30又は支援者端末50に実装されてもよい。同様に、操縦者端末30又は支援者端末50の機能の少なくとも一部がサーバ装置20に実装されてもよい。
上記実施の形態の説明に用いたブロック図は、機能単位のブロックを示している。これらの機能ブロック(構成部)は、ハードウェア及び/又はソフトウェアの任意の組み合わせによって実現される。また、各機能ブロックの実現手段は特に限定されない。すなわち、各機能ブロックは、物理的及び/又は論理的に結合した1つの装置により実現されてもよいし、物理的及び/又は論理的に分離した2つ以上の装置を直接的及び/又は間接的に(例えば、有線及び/又は無線)で接続し、これら複数の装置により実現されてもよい。また、サーバ装置20の機能の少なくとも一部が操縦者端末30又は支援者端末50に実装されてもよい。同様に、操縦者端末30又は支援者端末50の機能の少なくとも一部がサーバ装置20に実装されてもよい。
本明細書で説明した各態様/実施形態は、LTE(Long Term Evolution)、LTE-A(LTE-Advanced)、SUPER 3G、IMT-Advanced、4G、5G、FRA(Future Radio Access)、W-CDMA(登録商標)、GSM(登録商標)、CDMA2000、UMB(Ultra Mobile Broadband)、IEEE 802.11(Wi-Fi)、IEEE 802.16(WiMAX)、IEEE 802.20、UWB(Ultra-WideBand)、Bluetooth(登録商標)、その他の適切なシステムを利用するシステム及び/又はこれらに基づいて拡張された次世代システムに適用されてもよい。
本明細書で説明した各態様/実施形態の処理手順、シーケンス、フローチャートなどは、矛盾の無い限り、順序を入れ替えてもよい。例えば、本明細書で説明した方法については、例示的な順序で様々なステップの要素を提示しており、提示した特定の順序に限定されない。
本明細書で説明した各態様/実施形態は単独で用いてもよいし、組み合わせて用いてもよいし、実行に伴って切り替えて用いてもよい。また、所定の情報の通知(例えば、「Xであること」の通知)は、明示的に行うものに限られず、暗黙的(例えば、当該所定の情報の通知を行わない)ことによって行われてもよい。
本明細書で説明した各態様/実施形態は単独で用いてもよいし、組み合わせて用いてもよいし、実行に伴って切り替えて用いてもよい。また、所定の情報の通知(例えば、「Xであること」の通知)は、明示的に行うものに限られず、暗黙的(例えば、当該所定の情報の通知を行わない)ことによって行われてもよい。
本明細書で使用する「システム」及び「ネットワーク」という用語は、互換的に使用される。
本明細書で説明した情報又はパラメータなどは、絶対値で表されてもよいし、所定の値からの相対値で表されてもよいし、対応する別の情報で表されてもよい。例えば、無線リソースはインデックスで指示されるものであってもよい。
上述したパラメータに使用する名称はいかなる点においても限定的なものではない。さらに、これらのパラメータを使用する数式等は、本明細書で明示的に開示したものと異なる場合もある。様々なチャネル(例えば、PUCCH、PDCCHなど)及び情報要素(例えば、TPCなど)は、あらゆる好適な名称によって識別できるので、これらの様々なチャネル及び情報要素に割り当てている様々な名称は、いかなる点においても限定的なものではない。
本明細書で使用する「判定(determining)」、「決定(determining)」という用語は、多種多様な動作を包含する場合がある。「判定」、「決定」は、例えば、判定(judging)、計算(calculating)、算出(computing)、処理(processing)、導出(deriving)、調査(investigating)、探索(looking up)(例えば、テーブル、データベース又は別のデータ構造での探索)、確認(ascertaining)した事を「判定」「決定」したとみなす事などを含み得る。また、「判定」、「決定」は、受信(receiving)(例えば、情報を受信すること)、送信(transmitting)(例えば、情報を送信すること)、入力(input)、出力(output)、アクセス(accessing)(例えば、メモリ中のデータにアクセスすること)した事を「判定」「決定」したとみなす事などを含み得る。また、「判定」、「決定」は、解決(resolving)、選択(selecting)、選定(choosing)、確立(establishing)、比較(comparing)などした事を「判定」「決定」したとみなす事を含み得る。つまり、「判定」「決定」は、何らかの動作を「判定」「決定」したとみなす事を含み得る。
本発明は、飛行制御システム1において行われる処理のステップを備える飛行制御方法として提供されてもよい。また、本発明は、サーバ装置20、飛行体10、操縦者端末30又は支援者端末50において実行されるプログラムとして提供されてもよい。かかるプログラムは、光ディスク等の記録媒体に記録した形態で提供されたり、インターネット等のネットワークを介して、コンピュータにダウンロードさせ、これをインストールして利用可能にするなどの形態で提供されたりすることが可能である。
ソフトウェア、命令などは、伝送媒体を介して送受信されてもよい。例えば、ソフトウェアが、同軸ケーブル、光ファイバケーブル、ツイストペア及びデジタル加入者回線(DSL)などの有線技術及び/又は赤外線、無線及びマイクロ波などの無線技術を使用してウェブサイト、サーバ、又は他のリモートソースから送信される場合、これらの有線技術及び/又は無線技術は、伝送媒体の定義内に含まれる。
本明細書で説明した情報、信号などは、様々な異なる技術のいずれかを使用して表されてもよい。例えば、上記の説明全体に渡って言及され得るデータ、命令、コマンド、情報、信号、ビット、シンボル、チップなどは、電圧、電流、電磁波、磁界若しくは磁性粒子、光場若しくは光子、又はこれらの任意の組み合わせによって表されてもよい。
本明細書で説明した用語及び/又は本明細書の理解に必要な用語については、同一の又は類似する意味を有する用語と置き換えてもよい。例えば、チャネル及び/又はシンボルは信号(シグナル)であってもよい。また、信号はメッセージであってもよい。また、コンポーネントキャリア(CC)は、キャリア周波数、セルなどと呼ばれてもよい。
本明細書で使用する「第1の」、「第2の」などの呼称を使用した要素へのいかなる参照も、それらの要素の量または順序を全般的に限定するものではない。これらの呼称は、2つ以上の要素間を区別する便利な方法として本明細書で使用され得る。したがって、第1および第2の要素への参照は、2つの要素のみがそこで採用され得ること、または何らかの形で第1の要素が第2の要素に先行しなければならないことを意味しない。
上記の各装置の構成における「手段」を、「部」、「回路」、「デバイス」等に置き換えてもよい。
「含む(including)」、「含んでいる(comprising)」、およびそれらの変形が、本明細書あるいは特許請求の範囲で使用されている限り、これら用語は、用語「備える」と同様に、包括的であることが意図される。さらに、本明細書あるいは特許請求の範囲において使用されている用語「または(or)」は、排他的論理和ではないことが意図される。
本開示の全体において、例えば、英語でのa、an、及びtheのように、翻訳により冠詞が追加された場合、これらの冠詞は、文脈から明らかにそうではないことが示されていなければ、複数のものを含むものとする。
以上、本発明について詳細に説明したが、当業者にとっては、本発明が本明細書中に説明した実施形態に限定されるものではないということは明らかである。本発明は、特許請求の範囲の記載により定まる本発明の趣旨及び範囲を逸脱することなく修正及び変更態様として実施することができる。したがって、本明細書の記載は、例示説明を目的とするものであり、本発明に対して何ら制限的な意味を有するものではない。
1:飛行制御システム、10:飛行体、20:サーバ装置、21:プロセッサ、22:メモリ、23:ストレージ、24:通信装置、200:トラッキング部、201:第1取得部、202:第2取得部、203:優先表示制御部、204:支援制御部、30:操縦者端末、40:撮像装置、50:支援者端末。
Claims (10)
- 飛行体に搭載された撮像装置により撮像された撮像画像を取得する第1取得部と、
前記飛行体が飛行する様子が撮像された撮像画像を取得する第2取得部と、
前記飛行体の操縦者による操縦を支援する操縦支援者の端末において、前記第1取得部により取得された撮像画像又は前記第2取得部により取得された撮像画像のうちいずれかを優先的に表示させる優先表示制御部と
を備えることを特徴とする情報処理装置。 - 前記優先表示制御部は、前記飛行体の飛行に関する情報に基づいて、優先的に表示させる前記撮像画像を決定する
ことを特徴とする請求項1記載の情報処理装置。 - 前記優先表示制御部は、前記飛行体の飛行中の状態に基づいて、優先的に表示させる前記撮像画像を決定する
ことを特徴とする請求項2記載の情報処理装置。 - 前記優先表示制御部は、前記操縦者による操縦に関する情報に基づいて、優先的に表示させる前記撮像画像を決定する
ことを特徴とする請求項1~3のいずれか1項に記載の情報処理装置。 - 前記優先表示制御部は、前記操縦者又は前記操縦支援者の操縦に関する属性に基づいて、優先的に表示させる前記撮像画像を決定する
ことを特徴とする請求項1~4のいずれか1項に記載の情報処理装置。 - 前記優先表示制御部は、前記操縦支援者による操縦の支援に関する情報に応じて、優先的に表示させる前記撮像画像を決定する
ことを特徴とする請求項1~5のいずれか1項に記載の情報処理装置。 - 前記操縦支援者の端末が複数ある場合に、
前記優先表示制御部は、前記端末ごとに決められた方法に従って、優先的に表示させる前記撮像画像を決定する
ことを特徴とする請求項1~6のいずれか1項に記載の情報処理装置。 - 前記優先表示制御部は、さらに、飛行している前記飛行体の飛行に関する情報を、前記操縦支援者の端末に表示させる
ことを特徴とする請求項1~7のいずれか1項に記載の情報処理装置。 - 前記優先表示制御部は、さらに、自装置と前記操縦支援者の端末との間のデータ通信の遅延に関する情報を、前記操縦支援者の端末に表示させる
ことを特徴とする請求項1~8のいずれか1項に記載の情報処理装置。 - 前記飛行体及び前記操縦者がそれぞれ複数いる場合に、
前記第1取得部は、各々の前記飛行体に搭載された撮像装置により撮像された撮像画像を取得し、
前記第2取得部は、各々の前記飛行体が飛行する様子が撮像された撮像画像を取得し、
前記優先表示制御部は、各々の前記飛行体について前記第1取得部により取得された撮像画像又は前記第2取得部により取得された撮像画像のうちいずれかを各々の前記操縦者に対する操縦支援の目的に応じて選択し、選択した撮像画像を前記操縦支援者の端末において優先的に表示させる
ことを特徴とする請求項1~9のいずれか1項に記載の情報処理装置。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US16/753,411 US11167846B2 (en) | 2017-10-27 | 2018-10-24 | Information processing apparatus |
JP2019551195A JP6945004B2 (ja) | 2017-10-27 | 2018-10-24 | 情報処理装置 |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017208309 | 2017-10-27 | ||
JP2017-208309 | 2017-10-27 |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2019082924A1 true WO2019082924A1 (ja) | 2019-05-02 |
Family
ID=66247803
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2018/039475 WO2019082924A1 (ja) | 2017-10-27 | 2018-10-24 | 情報処理装置 |
Country Status (3)
Country | Link |
---|---|
US (1) | US11167846B2 (ja) |
JP (1) | JP6945004B2 (ja) |
WO (1) | WO2019082924A1 (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11074447B1 (en) * | 2018-07-13 | 2021-07-27 | Hana Resources, Inc. | Land analysis system using drone-captured data |
WO2020166348A1 (ja) * | 2019-02-13 | 2020-08-20 | ソニー株式会社 | 移動体、通信方法、およびプログラム |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2017082128A1 (ja) * | 2015-11-09 | 2017-05-18 | 株式会社プロドローン | 無人移動体の操縦方法および無人移動体監視装置 |
JP2017141010A (ja) * | 2015-09-04 | 2017-08-17 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America | 通知方法、通知装置及び端末 |
JP2017151008A (ja) * | 2016-02-26 | 2017-08-31 | 株式会社トプコン | 飛行体追尾方法及び飛行体画像取得方法及び飛行体表示方法及び飛行体誘導システム |
JP2017159852A (ja) * | 2016-03-11 | 2017-09-14 | 大和ハウス工業株式会社 | 回転締結部材の操作方法 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5178406B2 (ja) * | 2008-09-03 | 2013-04-10 | 株式会社Ihiエアロスペース | 遠隔操縦システム |
JP6085153B2 (ja) | 2012-11-26 | 2017-02-22 | 日立Geニュークリア・エナジー株式会社 | 建屋内調査システム |
FR3046225B1 (fr) * | 2015-12-29 | 2019-06-28 | Thales | Affichage de donnees meteorologiques dans un aeronef |
KR102441328B1 (ko) | 2016-01-28 | 2022-09-08 | 삼성전자주식회사 | 이동 로봇이 전송한 화면을 표시하는 방법 및 그 전자장치 |
EP3438775A1 (en) | 2016-03-31 | 2019-02-06 | Nikon Corporation | Flight device, electronic device and program |
-
2018
- 2018-10-24 WO PCT/JP2018/039475 patent/WO2019082924A1/ja active Application Filing
- 2018-10-24 US US16/753,411 patent/US11167846B2/en active Active
- 2018-10-24 JP JP2019551195A patent/JP6945004B2/ja active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2017141010A (ja) * | 2015-09-04 | 2017-08-17 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America | 通知方法、通知装置及び端末 |
WO2017082128A1 (ja) * | 2015-11-09 | 2017-05-18 | 株式会社プロドローン | 無人移動体の操縦方法および無人移動体監視装置 |
JP2017151008A (ja) * | 2016-02-26 | 2017-08-31 | 株式会社トプコン | 飛行体追尾方法及び飛行体画像取得方法及び飛行体表示方法及び飛行体誘導システム |
JP2017159852A (ja) * | 2016-03-11 | 2017-09-14 | 大和ハウス工業株式会社 | 回転締結部材の操作方法 |
Also Published As
Publication number | Publication date |
---|---|
US20210155342A1 (en) | 2021-05-27 |
JPWO2019082924A1 (ja) | 2020-10-22 |
US11167846B2 (en) | 2021-11-09 |
JP6945004B2 (ja) | 2021-10-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11175651B2 (en) | Method, device and system for presenting operation information of a mobile platform | |
US20190369613A1 (en) | Electronic device and method for controlling multiple drones | |
US10423194B2 (en) | Electronic device and image capture method thereof | |
US10373483B2 (en) | Electronic device for controlling unmanned aerial vehicle and method of operating the same | |
EP3188467B1 (en) | Method for image capturing using unmanned image capturing device and electronic device supporting the same | |
US10733972B2 (en) | Electronic apparatus and method for operating same | |
EP3128793A1 (en) | Method of providing route information and electronic device for processing same | |
CN103595911B (zh) | 相机装置和用于在其使用中协助用户的方法 | |
US20210001487A1 (en) | Information processing apparatus, information processing method, and storage medium | |
JP7341991B2 (ja) | 監視装置 | |
KR20170055213A (ko) | 비행이 가능한 전자 장치를 이용한 촬영 방법 및 장치 | |
WO2019087891A1 (ja) | 情報処理装置及び飛行制御システム | |
EP3330178A1 (en) | Control device and method for unmanned arial photography vehicle | |
WO2019225313A1 (ja) | 監視装置及びプログラム | |
JP6945004B2 (ja) | 情報処理装置 | |
WO2019227287A1 (zh) | 无人机的数据处理方法和设备 | |
US11354897B2 (en) | Output control apparatus for estimating recognition level for a plurality of taget objects, display control system, and output control method for operating output control apparatus | |
KR102656557B1 (ko) | 영상 처리 방법 및 이를 지원하는 전자 장치 | |
JP7060616B2 (ja) | 情報処理装置 | |
WO2021192873A1 (ja) | 測位システム | |
CN111344776B (zh) | 信息处理装置、信息处理方法和程序 | |
JP6495559B2 (ja) | 点群処理システム | |
JP6957651B2 (ja) | 情報処理装置 | |
JP6864593B2 (ja) | 情報処理装置 | |
CN113961659A (zh) | 一种基于复杂地形的导航方法、***、计算机设备及介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 18869818 Country of ref document: EP Kind code of ref document: A1 |
|
ENP | Entry into the national phase |
Ref document number: 2019551195 Country of ref document: JP Kind code of ref document: A |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
122 | Ep: pct application non-entry in european phase |
Ref document number: 18869818 Country of ref document: EP Kind code of ref document: A1 |