JP2019084898A - Flight body maneuvering system and method for maneuvering flight body using flight body maneuvering system - Google Patents
Flight body maneuvering system and method for maneuvering flight body using flight body maneuvering system Download PDFInfo
- Publication number
- JP2019084898A JP2019084898A JP2017213312A JP2017213312A JP2019084898A JP 2019084898 A JP2019084898 A JP 2019084898A JP 2017213312 A JP2017213312 A JP 2017213312A JP 2017213312 A JP2017213312 A JP 2017213312A JP 2019084898 A JP2019084898 A JP 2019084898A
- Authority
- JP
- Japan
- Prior art keywords
- image
- pilot
- aircraft
- flight
- camera
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 10
- RZVHIXYEVGDQDX-UHFFFAOYSA-N 9,10-anthraquinone Chemical compound C1=CC=C2C(=O)C3=CC=CC=C3C(=O)C2=C1 RZVHIXYEVGDQDX-UHFFFAOYSA-N 0.000 claims description 31
- 230000000007 visual effect Effects 0.000 description 49
- 230000033001 locomotion Effects 0.000 description 8
- 230000005540 biological transmission Effects 0.000 description 7
- 230000001133 acceleration Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 4
- 238000012544 monitoring process Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
Landscapes
- Stereoscopic And Panoramic Photography (AREA)
- Indication In Cameras, And Counting Of Exposures (AREA)
- Studio Devices (AREA)
Abstract
Description
本発明は、飛行体操縦システム及び飛行体操縦システムを用いて飛行体を操縦する方法、特に、操縦者によって送信機で操縦される飛行体、飛行体に搭載されて飛行体からの映像を取得する映像取得用カメラ、及び映像取得用カメラで取得された映像を視認可能な頭部装着表示器を備えた飛行体操縦システム、及びこの飛行体操縦システムを用いて飛行体を操縦する方法に関する。 The present invention relates to a flight control system and a method of steering a flight using a flight control system, and more particularly, to a flight controlled by a pilot by a transmitter, a flight carried on a flight, and an image from the flight The present invention relates to an image acquisition camera, a flight control system including a head mounted display capable of viewing an image obtained by the video acquisition camera, and a method of steering a flight using the flight control system.
対象物を高所から観察したり、上空から地上を空撮したりする場合には、近年、複数のプロペラの回転によって飛行するいわゆるドローンあるいはマルチコプタといった飛行体が用いられることがある。特許文献1には、監視領域を飛行しながら撮影する撮影手段を搭載した飛行体が開示されている。 In the case of observing an object from a high place or aerially photographing the ground from above, in recent years, a flying object such as a so-called drone or multicopter flying by rotating a plurality of propellers may be used. Patent Document 1 discloses an aircraft equipped with a photographing means for photographing while flying in a monitoring area.
このように、飛行体を用いて監視領域を撮影する場合には、監視領域の状況によっては、操縦者の位置から飛行体を視認することができなくなる場合があり、このような場合には、飛行体が視認できる位置まで操縦者が移動して、飛行体を操縦する必要がある。 As described above, when photographing a surveillance area using a flying object, depending on the condition of the monitoring area, it may not be possible to visually recognize the flying object from the position of the pilot. In such a case, It is necessary for the pilot to move to a position where the aircraft can be seen and to maneuver the aircraft.
しかし、監視領域が高所であったり、人が立ち入ることが困難な領域であったりするような場合は、飛行体が視認できる位置まで操縦者が移動することができなくなる場合があり、事実上、飛行体によって監視領域を撮影することができなくなる。 However, if the surveillance area is high or an area where it is difficult for people to get in, the pilot may not be able to move to a position where the aircraft can be seen, so it is virtually impossible. It becomes impossible to capture the surveillance area by the flying object.
このような対策として、飛行体の操縦者が、飛行体に搭載された全天球カメラで取得した映像をヘッドマウントディスプレイで見ながら、飛行体で操縦することが可能な飛行体操縦システムが提案されている。 As a measure against this, a flight control system has been proposed that allows the pilot of the flying object to maneuver with the flying object while viewing the image acquired by the omnidirectional camera mounted on the flying object with the head mount display It is done.
図6は、この種の飛行体操縦システムの概略を説明する図である。図示のように、飛行体操縦システム100は、操縦者Mに操作される送信機101aによって操縦される飛行体101、この飛行体101の上下方向に搭載されて飛行体101の全方位であるXYZ方向を映像として取得可能な2基の全天球カメラ102、全天球カメラ102で取得した映像が映し出されて操縦者Mが装着するヘッドマウントディスプレイ103(以下「HMD103」という。)を主要構成として備える。 FIG. 6 is a diagram for explaining an outline of this type of flight control system. As shown in the figure, the flight control system 100 includes a flight vehicle 101 steered by a transmitter 101a operated by a pilot M, and an XYZ of all directions of the flight vehicle 101 mounted on the flight vehicle 101 in the vertical direction. The head mounted display 103 (hereinafter referred to as "HMD 103") that the pilot M wears with two omnidirectional cameras 102 capable of acquiring a direction as an image and an image acquired by the omnidirectional camera 102 projected is referred to as a main configuration. Prepare as.
この飛行体操縦システム100によれば、全天球カメラ102で取得した映像がHMD103に映し出されることから、操縦者Mは、飛行体101を直接的に見ることなく、HMD103に映し出された映像を見ながら操縦することが可能となる(目視外飛行)。 According to the flight control system 100, since the image acquired by the omnidirectional camera 102 is projected on the HMD 103, the pilot M can view the image projected on the HMD 103 without directly looking at the aircraft 101. It is possible to maneuver while watching (flying out of sight).
例えば、図7(a)で示すように、HMD103を装着した操縦者MがN方向を向いている場合は、飛行体101の視野領域Aにおいて、全天球カメラ102がN方向を中心とした映像を視野情報a1として取得することから、操縦者Mは、HMD103によって視野情報a1を見ながら、飛行体101を操縦することとなる。 For example, as shown in FIG. 7A, when the operator M wearing the HMD 103 faces in the N direction, the omnidirectional camera 102 centers on the N direction in the visual field area A of the flying object 101. Since the video is acquired as the visual field information a1, the pilot M maneuvers the flying body 101 while viewing the visual field information a1 with the HMD 103.
一方、図7(b)で示すように、HMD103を装着した操縦者MがNE方向を向いている場合は、飛行体101の視野領域Aにおいて、全天球カメラ102がNE方向を中心とした映像を視野情報a2として取得することから、操縦者Mは、HMD103によって視野情報a2を見ながら、飛行体101を操縦することとなる。 On the other hand, as shown in FIG. 7B, when the operator M wearing the HMD 103 faces the NE direction, the omnidirectional camera 102 centers on the NE direction in the visual field area A of the flying object 101. Since the video is acquired as the visual field information a2, the pilot M maneuvers the flying body 101 while viewing the visual field information a2 by the HMD 103.
上記の飛行体操縦システム100によれば、図7(a)で示すように、操縦者Mが送信機101aによって飛行体101の進行方向を矢線fで示す前進方向に入力すると、飛行体101は矢線Fで示す進行方向に飛行することから、操縦者MがHMD103によって見ている視野情報a1と飛行体101の進行方向Fとが一致する。 According to the above-described aircraft control system 100, as shown in FIG. 7A, when the pilot M inputs the traveling direction of the aircraft 101 by the transmitter 101a in the forward direction indicated by the arrow f, the aircraft 101 Since the aircraft flies in the traveling direction indicated by the arrow F, the visual field information a1 seen by the operator M by the HMD 103 matches the traveling direction F of the aircraft 101.
しかし、図7(b)で示すように、操縦者MがNE方向を向いている場合は、操縦者Mが送信機101aによって飛行体101を旋回させて、その進行方向FをN方向からNE方向に変更しない限りは、操縦者MがHMD103によって見ている視野情報a2と飛行体101の進行方向Fとが一致しないこととなる。 However, as shown in FIG. 7B, when the pilot M points in the NE direction, the pilot M turns the flying object 101 by the transmitter 101a, and the traveling direction F from the N direction to the NE Unless the direction is changed, the visual field information a2 which the pilot M is looking at by the HMD 103 and the traveling direction F of the flying object 101 do not coincide with each other.
このとき、操縦者Mは、視野情報a2と飛行体101の進行方向Fとの不一致によって飛行体101の操縦感覚を喪失する場合があることが想定され、操縦感覚の喪失が飛行体101の誤操縦につながる可能性もあることが懸念される。 At this time, it is assumed that the pilot M may lose the steering feeling of the flying object 101 due to the mismatch between the visual field information a2 and the traveling direction F of the flying object 101, and the loss of the steering feeling is an error of the flying object 101. There is a concern that it may lead to maneuvering.
本発明は、上記事情に鑑みてなされたものであり、飛行体が取得した映像を見ながら飛行体を操縦する際に、飛行体の操縦を適切に補助することができる飛行体操縦システム、及び飛行体操縦システムを用いて飛行体を操縦する方法を提供することを課題とするものである。 SUMMARY OF THE INVENTION The present invention has been made in view of the above circumstances, and it is possible to appropriately assist the maneuvering of a flying body when maneuvering the flying body while watching a video acquired by the flight body, and It is an object of the present invention to provide a method of steering a flying object using a flight control system.
上記課題を達成するための、本発明に係る飛行体操縦システムは、操縦者によって送信機で操縦される飛行体、飛行体に搭載されて飛行体からの映像を取得する映像取得用カメラ、及び映像取得用カメラで取得された映像が表示される表示部とこの表示部を操縦者の頭部に装着する装着部とを有して操縦者が表示部に表示される映像を視認可能な頭部装着表示器を備えた飛行体操縦システムにおいて、操縦者からみた全方位と飛行体からみた全方位とを一致させて、装着者の全方位において頭部装着表示器を装着した操縦者の頭部が向く方向に飛行体の全方位において映像取得用カメラで映像を取得する方向を追従させる映像取得手段と、映像取得手段で追従させる映像取得用カメラで映像を取得する方向と飛行体の進行方向とを一致させる飛行体進行方向決定手段と、を備えることを特徴としている。 A flight control system according to the present invention for achieving the above-mentioned problems includes an aircraft steered by a pilot with a transmitter, an image acquisition camera mounted on the aircraft and acquiring an image from the aircraft, A head having a display unit on which an image acquired by the image acquisition camera is displayed and a mounting unit for mounting the display unit on the head of the operator, and the operator can visually recognize the image displayed on the display unit In a flight control system equipped with a head mounted indicator, the head of the pilot wearing the head mounted display in all directions of the wearer with the omnidirectional view from the pilot and the omnidirectional from the flight body matched. Direction of acquiring image with image acquisition means to make the image acquisition camera follow the direction to get image by the image acquisition camera in all directions of the flight body in the direction to which the section points Match the direction It is characterized by and a row body traveling direction setting unit.
この飛行体操縦システムによれば、映像取得手段が、操縦者からみた全方位と飛行体からみた全方位とを一致させて、飛行体の全方位において映像取得用カメラで映像を取得する方向を、頭部装着表示器を装着した操縦者の全方位における頭部の動きに追従させることから、操縦者は、飛行体の全方位における映像を任意に取得して頭部装着表示器で見ることができる。 According to this flight control system, the image acquisition means matches the omnidirectional view from the pilot with the omnidirectional view from the aircraft, and obtains the direction in which the image acquisition camera acquires an image in all directions of the aircraft. In order to follow the movement of the head in all directions of the pilot equipped with the head mounted display, the pilot can obtain an arbitrary image in all directions of the flying object and view it on the head mounted display. Can.
しかも、飛行体進行方向決定手段は、映像取得用カメラで映像を取得する方向と飛行体の進行方向とを一致させることから、飛行体の進行方向の映像を、操縦者が頭部装着表示器で見ながら、見ている映像に従って飛行体を操縦することができる。 Moreover, since the flight vehicle traveling direction determining means matches the direction in which the image acquisition camera acquires the image with the traveling direction of the flight vehicle, the operator can display the video of the flight vehicle traveling direction on the head mounted display You can maneuver the flying body according to the image you are watching while watching at.
したがって、操縦者が、飛行体の操縦感覚を喪失することがないことから、誤操縦の可能性が低減されて飛行体の安全な操縦が実現される。 Therefore, since the pilot does not lose the sense of flight control of the aircraft, the possibility of mis-pilot is reduced and safe flight control of the aircraft is realized.
しかも、この飛行体操縦システムの飛行体進行方向決定手段は、飛行体の進行方向を映像取得用カメラで映像を取得する方向に一致させることを特徴としている。したがって、操縦者が頭部装着表示器で見る方向の映像に従って飛行体が飛行することから、操縦者の操縦フィーリングが向上する。 In addition, the flying object traveling direction determination means of this flying object steering system is characterized in that the traveling direction of the flying object is made to coincide with the direction in which the image acquisition camera acquires an image. Therefore, since the flying object follows the image of the direction viewed by the pilot on the head mounted display, the steering feeling of the pilot is improved.
さらに、飛行体操縦システムは、飛行体からの映像を取得して記録媒体に記録する記録用カメラが飛行体に搭載されたことを特徴としている。これによれば、安全な操縦が実現される飛行体からの映像が取得されて記録されることから、映像の精度が向上することを期待し得る。 Furthermore, the flight control system is characterized in that the flight camera is equipped with a recording camera for acquiring an image from the flight and recording the image on a recording medium. According to this, since the image from the flying object for which safe maneuvering is realized is acquired and recorded, it can be expected that the accuracy of the image is improved.
上記課題を達成するための、本発明に係る飛行体を操縦する方法は、操縦者によって送信機で操縦される飛行体、飛行体に搭載されて飛行体からの映像を取得する映像取得用カメラ、及び映像取得用カメラで取得された映像が表示される表示部とこの表示部を操縦者の頭部に装着する装着部とを有して操縦者が表示部に表示される映像を視認可能な頭部装着表示器を備えた飛行体操縦システムを用いて飛行体を操縦する方法において、映像取得手段を用いて、操縦者からみた全方位と飛行体からみた全方位とを一致させて、操縦者の全方位において頭部装着表示器を装着した操縦者の頭部が向く方向に飛行体の全方位において映像取得用カメラで映像を取得する方向を追従させる映像取得方向追従ステップと、映像取得方向追従ステップで追従させる映像取得用カメラで映像を取得する方向と飛行体の進行方向とを飛行体進行方向決定手段によって一致させる飛行体進行方向決定ステップと、を備えることを特徴としている。 In order to achieve the above object, a method of operating a flying body according to the present invention includes a flying body steered by a pilot with a transmitter, and an image acquisition camera mounted on the flying body and acquiring an image from the flying body , And a display unit on which an image acquired by the image acquisition camera is displayed, and a mounting unit for mounting the display unit on the head of the operator so that the operator can view the image displayed on the display unit In the method of operating a flying object using a flight control system equipped with a suitable head mounted display, using an image acquisition means, the omnidirectional view from the operator and the omnidirectional view from the flying object are matched, An image acquisition direction following step for following the direction in which the image acquisition camera acquires an image in all directions of the flying object in a direction in which the head of the pilot wearing the head mounted display faces in all directions of the operator Follow in acquisition direction following step It is characterized by and a flying object moving direction determining step to match the aircraft traveling direction setting unit and a traveling direction of the direction of the aircraft to obtain an image in the image acquisition camera to.
飛行体を操縦するこの方法によれば、操縦者が、飛行体の操縦感覚を喪失することがないことから、誤操縦の可能性が低減されて飛行体の安全な操縦が実現される。 According to this method of steering the flying body, since the pilot does not lose the maneuvering feeling of the flying body, the possibility of mishandling is reduced and the safe handling of the flying body is realized.
この発明によれば、操縦者が、飛行体の操縦感覚を喪失することがないことから、誤操縦の可能性が低減されて飛行体の安全な操縦が実現される。 According to the present invention, since the pilot does not lose the sense of flight control of the aircraft, the possibility of mis-pilot is reduced and safe flight control of the flight vehicle is realized.
次に、図1〜図5に基づいて、本発明の実施の形態に係る飛行体操縦システムについて説明する。 Next, a flight control system according to an embodiment of the present invention will be described based on FIGS. 1 to 5.
なお、本実施の形態において、飛行体が複数のプロペラの回転によって飛行するドローンである場合を例として説明する。 In the present embodiment, the case where the flying object is a drone flying by rotation of a plurality of propellers will be described as an example.
図1は、本実施の形態に係る飛行体操縦システムの概略を説明する図、図2は、同じく本実施の形態に係る飛行体操縦システムの構成の概略を説明するブロック図である。 FIG. 1 is a view for explaining an outline of a flight control system according to the present embodiment, and FIG. 2 is a block diagram for explaining an outline of the configuration of the flight control system according to the present embodiment.
図示のように、飛行体操縦システム10は、操縦者M1に操作される送信機27によって操縦されるドローン20、ドローン20の上下方向に搭載されてドローン20の全方位であるXYZ方向を映像として取得可能な2基の映像取得用カメラである全天球カメラ22−1、22−2、全天球カメラ22−1、22−2で取得した映像が映し出されて操縦者M1が装着する頭部装着表示器であるヘッドマウントディスプレイ30(以下「HMD30」という。)を備える。 As illustrated, the flying object steering system 10 is mounted in the vertical direction of the drone 20 and the drone 20 operated by the transmitter 27 operated by the pilot M1, and images in all directions of the drone 20 as XYZ images The images acquired by the omnidirectional cameras 22-1 and 22-2 and the omnidirectional cameras 22-1 and 22-2, which are two obtainable video acquisition cameras, are projected and the head worn by the pilot M1 A head mounted display 30 (hereinafter referred to as "HMD 30"), which is a part mounting display, is provided.
この飛行体操縦システム10は、HMD30と全天球カメラ22−1、22−2とドローン20とを連携させる飛行体操縦プログラム50が格納される多機能型携帯情報端末であるスマートフォン40を備える。 The flight control system 10 includes a smartphone 40 which is a multifunctional portable information terminal in which a flight control program 50 for linking the HMD 30, the omnidirectional cameras 22-1 and 22-2, and the drone 20 is stored.
さらに、飛行体操縦システム10は、撮影者M2に操作される4kカメラ用送信機28によって操作されるとともに、ドローン20に搭載されてドローン20からの映像を取得して記録媒体であるメモリ26に記録する記録用カメラである4kカメラ25を備える。 Furthermore, the flight control system 10 is operated by the 4k camera transmitter 28 operated by the photographer M2, and is mounted on the drone 20 to obtain an image from the drone 20 and to the memory 26 which is a recording medium. A 4 k camera 25 which is a recording camera for recording is provided.
ドローン20は、本実施の形態では、スマートフォン40に内蔵された後述する送受信インターフェース41からの追従信号s3及び飛行方向決定信号s5、送信機27からの操縦信号s6、及び4kカメラ用送信機28からの操作信号s7に基づいてドローン20の各種の作動を制御するフライトコントローラ21が格納された本体部20A、及び本体部20Aに設けられてモータ24の駆動によって回転する4基のプロペラ20Bを主要構成として備える。 In the present embodiment, the drone 20 receives a follow signal s3 and a flight direction determination signal s5 from a transmission / reception interface 41, which will be described later, built in the smartphone 40, a steering signal s6 from the transmitter 27, and a 4 k camera transmitter 28. Main unit 20A in which the flight controller 21 for controlling various operations of the drone 20 is stored based on the operation signal s7, and four propellers 20B provided in the main unit 20A and rotated by driving the motor 24 as main components Prepare as.
本体部20Aに格納されたフライトコントローラ21は、本実施の形態では、全天球カメラ22−1、22−2による映像の取得を制御するとともに、同じく本体部20Aに格納されてモータ24の駆動を制御する制御モジュール23を制御し、かつ4kカメラ25による映像の取得を制御する。 In the present embodiment, the flight controller 21 stored in the main body 20A controls acquisition of images by the omnidirectional cameras 22-1 and 22-2, and is also stored in the main body 20A and drives the motor 24. Control the control module 23 that controls the image acquisition by the 4 k camera 25.
全天球カメラ22−1、22−2は、本実施の形態では、フライトコントローラ21を介した追従信号s3に基づいて、ドローン20の全方位であるXYZ方向における任意の方向の映像を取得し、取得した映像を視野情報aとしてフライトコントローラ21に出力する。 In the present embodiment, the omnidirectional camera 22-1 or 22-2 acquires an image in an arbitrary direction in the XYZ directions which are all directions of the drone 20 based on the follow-up signal s3 via the flight controller 21. The acquired image is output to the flight controller 21 as the visual field information a.
制御モジュール23は、本実施の形態では、フライトコントローラ21を介した飛行方向決定信号s5、操縦信号s6及び操作信号s7に基づいて、並進運動x、y及びz、並びに回転運動θ1、θ2及びθ3といった6自由度を有するドローン20の空間的配置、速度、及び加速度を調整して、モータ24の駆動を制御する。 In the present embodiment, the control module 23 performs translational motions x, y and z, and rotational motions θ 1 and θ 2 based on the flight direction determination signal s 5, the steering signal s 6 and the operation signal s 7 via the flight controller 21. And θ 3 to adjust the spatial arrangement, velocity, and acceleration of the drone 20 having six degrees of freedom to control the drive of the motor 24.
4kカメラ25は、本実施の形態では、フライトコントローラ21を介した操作信号s7に基づいて、メモリ26に記録される記録用の映像を取得する。 In the present embodiment, the 4k camera 25 acquires a recording image to be recorded in the memory 26 based on the operation signal s7 via the flight controller 21.
HMD30は、本実施の形態では、表示部31及び表示部31を操縦者M1の頭部に装着する装着部32を備える。 HMD30 is equipped with the mounting part 32 which mounts the display part 31 and the display part 31 in the head of the operator M1 in this Embodiment.
表示部31は、本実施の形態では、HMD30を装着する操縦者M1の頭部の動きや角度や方向等を操縦者M1の全方位であるXYZ方向において検知するジャイロセンサ31a及び加速度センサ31b、及び全天球カメラ22−1、22−2で取得された映像が表示される表示ディスプレイ31cを備える。 In the present embodiment, the display unit 31 is a gyro sensor 31a and an acceleration sensor 31b that detect the movement, angle, direction, etc. of the head of the operator M1 wearing the HMD 30 in the XYZ directions that are all directions of the operator M1. And a display 31c on which an image acquired by the omnidirectional camera 22-1, 22-2 is displayed.
ジャイロセンサ31a及び加速度センサ31bで検知された操縦者M1のXYZ方向における頭部の動きや角度や方向等はそれぞれ、制御信号s1及び制御信号s2として、スマートフォン40の送受信インターフェース41に送信される。 The movement, angle, direction, and the like of the head of the operator M1 in the XYZ directions detected by the gyro sensor 31a and the acceleration sensor 31b are transmitted to the transmission / reception interface 41 of the smartphone 40 as the control signal s1 and the control signal s2, respectively.
一方、表示ディスプレイ31cには、全天球カメラ22−1、22−2で取得された映像が視野情報aとして、フライトコントローラ21及び送受信インターフェース41を介して送信される。 On the other hand, the image acquired by the omnidirectional cameras 22-1 and 22-2 is transmitted to the display 31c as the visual field information a through the flight controller 21 and the transmission / reception interface 41.
スマートフォン40には、本実施の形態では、送受信インターフェース41が内蔵されるとともに、飛行体操縦プログラム50が格納されている。 In the present embodiment, the smartphone 40 incorporates the transmission / reception interface 41 and stores the flight control program 50.
送受信インターフェース41は、ジャイロセンサ31a及び加速度センサ31bからの制御信号s1、s2を受信して飛行体操縦プログラム50に送信するとともに、飛行体操縦プログラム50から入力される追従信号s3及び飛行方向決定信号s5をフライトコントローラ21に送信し、かつフライトコントローラ21から視野情報aを受信して表示ディスプレイ31cに送信する。 The transmission / reception interface 41 receives the control signals s1 and s2 from the gyro sensor 31a and the acceleration sensor 31b and transmits the control signals s1 and s2 to the flight control program 50, and also follows the tracking signal s3 and the flight direction determination signal input from the flight control program 50. s5 is transmitted to the flight controller 21, and the visual field information a is received from the flight controller 21 and transmitted to the display 31c.
飛行体操縦プログラム50は、本実施の形態では、映像取得手段51及び飛行体進行方向決定手段であるドローン進行方向決定手段52を備える。 In the present embodiment, the flight vehicle maneuvering program 50 includes an image acquisition means 51 and a drone travel direction determination means 52 which is a flight body travel direction determination means.
映像取得手段51は、送受信インターフェース41を介してジャイロセンサ31a及び加速度センサ31bからの制御信号s1、s2を受信し、この制御信号s1、s2に基づいて、HMD30を装着した操縦者M1のXYZ方向における頭部の動きや角度や方向等を把握する。 The image acquisition unit 51 receives the control signals s1 and s2 from the gyro sensor 31a and the acceleration sensor 31b via the transmission / reception interface 41, and based on the control signals s1 and s2, the XYZ directions of the operator M1 wearing the HMD 30. Understand the movement, angle, direction, etc. of the head in
さらに、映像取得手段51は、このように把握した操縦者M1の頭部の動きや角度や方向等に基づいて、操縦者M1からみたXYZ方向とドローン20からみたXYZ方向とを一致させて、ドローン20のXYZ方向の任意の映像を取得するように全天球カメラ22−1、22−2に指示する追従信号s3を生成する。 Furthermore, based on the movement, angle, direction, etc. of the head of the pilot M1 grasped in this way, the image acquisition means 51 matches the XYZ directions from the pilot M1 with the XYZ directions from the drone 20. A follow-up signal s3 is generated which instructs the omnidirectional cameras 22-1 and 22-2 to acquire an arbitrary image of the drone 20 in the X, Y, and Z directions.
例えば、図3で示すように、HMD30を装着した操縦者M1がN方向を向いている場合は、制御信号s1、s2に基づいて、全天球カメラ22−1、22−2で映像を取得する方向がドローン20の視野領域AにおけるN方向となるように、追従信号s3を生成する。 For example, as shown in FIG. 3, when the operator M1 wearing the HMD 30 faces in the N direction, images are acquired by the omnidirectional cameras 22-1 and 22-2 based on the control signals s1 and s2. The follow-up signal s3 is generated such that the direction to be set is the N direction in the visual field area A of the drone 20.
この追従信号s3に基づいて、全天球カメラ22−1、22−2によって、ドローン20の視野領域AにおけるN方向を中心とした映像が視野情報a1として取得される。 Based on the follow-up signal s3, an image centered on the N direction in the visual field area A of the drone 20 is acquired as visual field information a1 by the omnidirectional cameras 22-1 and 22-2.
一方、HMD30を装着した操縦者M1がN方向からNE方向に向きを変えた場合は、制御信号s1、s2に基づいて、全天球カメラ22−1、22−2で映像を取得する方向がドローン20の視野領域AにおけるNE方向となるように、追従信号s3を生成する。 On the other hand, when the pilot M1 wearing the HMD 30 changes the direction from the N direction to the NE direction, based on the control signals s1 and s2, the direction in which the omnidirectional camera 22-1 and 22-2 acquire an image is The follow-up signal s3 is generated so as to be in the NE direction in the visual field area A of the drone 20.
この追従信号s3に基づいて、全天球カメラ22−1、22−2によって、ドローン20の視野領域AにおけるN方向を中心とした視野情報a1から、NE方向を中心とした視野情報a2が取得される。 From the visual field information a1 centered on the N direction in the visual field region A of the drone 20, the visual field information a2 centered on the NE direction is acquired by the omnidirectional camera 22-1, 22-2 based on the following signal s3. Be done.
さらに、映像取得手段51は、追従信号s3を飛行方向指示信号s4として、ドローン進行方向決定手段52に出力する。 Furthermore, the image acquisition means 51 outputs the follow-up signal s3 to the drone traveling direction determination means 52 as the flight direction instruction signal s4.
ドローン進行方向決定手段52は、本実施の形態では、飛行方向指示信号s4に基づいて、全天球カメラ22−1、22−2で映像を取得する方向とドローン20の進行方向とを一致させるものである。 In the present embodiment, the drone traveling direction determination means 52 matches the direction in which the omnidirectional camera 22-1 or 22-2 acquires an image with the traveling direction of the drone 20 based on the flight direction instruction signal s 4. It is a thing.
具体的には、映像取得手段51から出力された飛行方向指示信号s4に基づいて、ドローン20の進行方向を、視野情報aとしての映像を全天球カメラ22−1、22−2で取得する方向に一致させる飛行方向決定信号s5を生成し、この飛行方向決定信号s5を、送受信インターフェース41及びフライトコントローラ21を介して制御モジュール23に送信する。 Specifically, based on the flight direction instruction signal s4 output from the image acquisition means 51, the omnidirectional camera 22-1 or 22-2 acquires an image as the visual field information a on the traveling direction of the drone 20. A flight direction determination signal s5 that matches the direction is generated, and the flight direction determination signal s5 is transmitted to the control module 23 via the transmission / reception interface 41 and the flight controller 21.
次に、図4及び図5に基づいて、飛行体操縦システム10の作動概略を説明する。 Next, an operation outline of the vehicle steering system 10 will be described based on FIGS. 4 and 5.
図4(a)で示すように、例えば、HMD30を装着した操縦者M1がN方向を向いている場合は、制御信号s1、s2に基づいて、全天球カメラ22−1、22−2で映像を取得する方向がドローン20の視野領域AにおけるN方向となるように、追従信号s3を生成する。 As shown in FIG. 4A, for example, when the operator M1 wearing the HMD 30 faces the N direction, the omnidirectional cameras 22-1 and 22-2 are based on the control signals s1 and s2. The follow-up signal s3 is generated so that the direction of acquiring the image is the N direction in the visual field area A of the drone 20.
この追従信号s3に基づいて、全天球カメラ22−1、22−2によって、ドローン20の視野領域AにおけるN方向を中心とした映像が視野情報a1として取得される。 Based on the follow-up signal s3, an image centered on the N direction in the visual field area A of the drone 20 is acquired as visual field information a1 by the omnidirectional cameras 22-1 and 22-2.
このとき、飛行体操縦プログラム50の映像取得手段51は、追従信号s3を飛行方向指示信号s4として、ドローン進行方向決定手段52に出力する。ドローン進行方向決定手段52は、飛行方向指示信号s4に基づいて、ドローン20の進行方向を視野情報a1と一致させてN方向とする飛行方向決定信号s5を生成して、制御モジュール23に送信する。 At this time, the image acquisition means 51 of the aircraft maneuvering program 50 outputs the follow signal s3 to the drone travel direction determination means 52 as the flight direction instruction signal s4. Based on the flight direction instruction signal s4, the drone traveling direction determination means 52 generates a flight direction determination signal s5 in which the traveling direction of the drone 20 matches the visual field information a1 to be the N direction and transmits it to the control module 23. .
この場合において、操縦者M1が送信機27によってドローン20の進行方向を矢線fで示す前進方向に入力すると、送信機27からの操縦信号s6がフライトコントローラ21を介して制御モジュール23に送信され、ドローン20は、視野情報a1と一致する矢線Fで示す進行方向であるN方向に飛行する。 In this case, when the pilot M1 inputs the advancing direction of the drone 20 by the transmitter 27 in the forward direction indicated by the arrow f, the steering signal s6 from the transmitter 27 is transmitted to the control module 23 via the flight controller 21. The drone 20 flies in an N direction, which is a traveling direction indicated by an arrow F, which coincides with the visual field information a1.
一方、図4(b)で示すように、例えば、HMD30を装着した操縦者M1がN方向からNE方向に向きを変えた場合は、制御信号s1、s2に基づいて、全天球カメラ22−1、22−2で映像を取得する方向がドローン20の視野領域AにおけるNE方向となるように、追従信号s3を生成する。 On the other hand, as shown in FIG. 4B, for example, when the pilot M1 wearing the HMD 30 changes the direction from the N direction to the NE direction, the omnidirectional camera 22-based on the control signals s1 and s2. The follow-up signal s3 is generated such that the direction in which the image is acquired in 1 and 22-2 is the NE direction in the visual field area A of the drone 20.
この追従信号s3に基づいて、全天球カメラ22−1、22−2によって、ドローン20の視野領域AにおけるNE方向を中心とした映像が視野情報a2として取得される。 Based on this follow-up signal s3, an image centered on the NE direction in the visual field area A of the drone 20 is acquired as visual field information a2 by the omnidirectional cameras 22-1 and 22-2.
このとき、飛行体操縦プログラム50の映像取得手段51は、追従信号s3を飛行方向指示信号s4として、ドローン進行方向決定手段52に出力する。ドローン進行方向決定手段52は、飛行方向指示信号s4に基づいて、ドローン20の進行方向を視野情報a2と一致させてNE方向とする飛行方向決定信号s5を生成して、制御モジュール23に送信する。 At this time, the image acquisition means 51 of the aircraft maneuvering program 50 outputs the follow signal s3 to the drone travel direction determination means 52 as the flight direction instruction signal s4. Based on the flight direction instruction signal s4, the drone traveling direction determination means 52 matches the traveling direction of the drone 20 with the visual field information a2 to generate a flight direction determination signal s5 which is the NE direction and transmits it to the control module 23. .
この場合において、操縦者M1が送信機27によってドローン20の進行方向を矢線fで示す前進方向に入力すると、送信機27からの操縦信号s6がフライトコントローラ21を介して制御モジュール23に送信され、ドローン20は、視野情報a2と一致する進行方向FであるNE方向に飛行する。 In this case, when the pilot M1 inputs the advancing direction of the drone 20 by the transmitter 27 in the forward direction indicated by the arrow f, the steering signal s6 from the transmitter 27 is transmitted to the control module 23 via the flight controller 21. The drone 20 flies in the NE direction, which is the traveling direction F, which coincides with the visual field information a2.
図5は、操縦者M1によってドローン20が操縦され、撮影者M2によってドローン20に搭載された4kカメラ25が操作される場合の飛行体操縦システム10の作動概略を説明する図である。 FIG. 5 is a diagram for explaining the operation outline of the aircraft control system 10 when the drone 20 is steered by the pilot M1 and the 4k camera 25 mounted on the drone 20 is operated by the photographer M2.
図5(a)で示すように、HMD30を装着した操縦者M1がN方向を向いている場合は、全天球カメラ22−1、22−2によって、ドローン20の視野領域AにおけるN方向を中心とした映像が視野情報a1として取得される。 As shown in FIG. 5A, when the operator M1 wearing the HMD 30 faces the N direction, the N direction in the visual field area A of the drone 20 is set by the omnidirectional cameras 22-1 and 22-2. An image centered on is acquired as visual field information a1.
このとき、ドローン20の進行方向は、ドローン進行方向決定手段52によって、視野情報a1と一致するN方向に設定されることから、操縦者M1が送信機27によってドローン20の進行方向を前進方向fに入力すると、ドローン20は、視野情報a1と一致する進行方向FであるN方向に飛行する。 At this time, the traveling direction of the drone 20 is set by the drone traveling direction determination means 52 to the N direction that matches the visual field information a1, so that the pilot M1 moves the traveling direction of the drone 20 forward by the transmitter 27 , The drone 20 flies in the N direction which is the traveling direction F that matches the visual field information a1.
一方、撮影者M2が、4kカメラ用送信機28によって、4kカメラ25で映像を取得する方向がN方向となるように操作すると、操作信号s7がフライトコントローラ21を介して制御モジュール23に送信されて、4kカメラ25がN方向の映像を取得可能となるようにドローン20の向きが調整される。 On the other hand, when the photographer M2 operates the 4k camera transmitter 28 such that the direction in which the 4k camera 25 acquires an image is N, the operation signal s7 is transmitted to the control module 23 via the flight controller 21. The orientation of the drone 20 is adjusted so that the 4k camera 25 can acquire an image in the N direction.
同様に、操作信号s7がフライトコントローラ21を介して4kカメラ25に送信されて、この4kカメラ25によってN方向の映像が取得されて、取得された映像がメモリ26に記録される。 Similarly, the operation signal s7 is transmitted to the 4k camera 25 via the flight controller 21, an image in the N direction is acquired by the 4k camera 25, and the acquired image is recorded in the memory 26.
すなわち、操縦者M1がHMD30で見ているN方向を中心とした視野情報a1と一致する方向を進行方向Fとしてドローン20が飛行するとともに、撮影者M2が操作する4kカメラ25によって、ドローン20の進行方向Fであって操縦者M1がHMD30で見ているN方向の視野情報a1が記録用の映像として取得される。 That is, the drone 20 flies with a direction that matches the visual field information a1 centered on the N direction viewed by the pilot M1 with the HMD 30 as the traveling direction F, and the 4k camera 25 operated by the photographer M2 The visual field information a1 in the N direction, which is the traveling direction F and is viewed by the operator M1 with the HMD 30, is acquired as an image for recording.
図5(b)で示すように、HMD30を装着した操縦者M1がN方向を向いており、全天球カメラ22−1、22−2によってN方向の映像が視野情報a1として取得される場合であって、ドローン20が視野情報a1と一致する進行方向FであるN方向に飛行する場合において、撮影者M2が、4kカメラ用送信機28によって、4kカメラ25で映像を取得する方向がE方向となるように操作する。 As shown in FIG. 5 (b), when the operator M1 wearing the HMD 30 faces the N direction, and an image in the N direction is acquired as the visual field information a1 by the omnidirectional cameras 22-1 and 22-2. In the case where the drone 20 flies in the N direction, which is the traveling direction F that matches the visual field information a1, the direction in which the photographer M2 acquires an image with the 4k camera 25 by the 4k camera transmitter 28 is E. Operate in the direction.
このように操作すると、操作信号s7がフライトコントローラ21を介して制御モジュール23に送信されて、4kカメラ25がE方向の映像を取得可能となるようにドローン20の向きが調整される。 When operated in this manner, the operation signal s7 is transmitted to the control module 23 via the flight controller 21, and the direction of the drone 20 is adjusted so that the 4k camera 25 can acquire an image in the E direction.
同様に、操作信号s7がフライトコントローラ21を介して4kカメラ25に送信されて、この4kカメラ25によってE方向の映像が取得されて、取得された映像がメモリ26に記録される。 Similarly, the operation signal s7 is transmitted to the 4k camera 25 via the flight controller 21, an image in the E direction is acquired by the 4k camera 25, and the acquired image is recorded in the memory 26.
すなわち、操縦者M1がHMD30で見ているN方向を中心とした視野情報a1と一致する方向を進行方向Fとしてドローン20が飛行するとともに、撮影者M2の操作によってドローン20の向きが調整されてE方向の映像が取得可能となった4kカメラ25によって、記録用のE方向の映像が取得される。 That is, the drone 20 flies with a direction that matches the visual field information a1 centered on the N direction viewed by the pilot M1 with the HMD 30 as the traveling direction F, and the direction of the drone 20 is adjusted by the operation of the photographer M2 The 4 k camera 25 that can obtain an E-direction image acquires an E-direction image for recording.
一方、図5(c)で示すように、HMD30を装着した操縦者M1がN方向からE方向に向きを変えた場合は、全天球カメラ22−1、22−2によって、ドローン20の視野領域AにおけるE方向を中心とした映像が視野情報a3として取得される。 On the other hand, as shown in FIG. 5C, when the pilot M1 wearing the HMD 30 changes the direction from the N direction to the E direction, the field of view of the drone 20 is obtained by the omnidirectional cameras 22-1 and 22-2. An image centering on the E direction in the region A is acquired as the visual field information a3.
このとき、ドローン20の進行方向は、ドローン進行方向決定手段52によって、視野情報a3と一致するE方向に設定されることから、操縦者M1が送信機27によってドローン20の進行方向を前進方向fに入力すると、ドローン20は、視野情報a3と一致する進行方向FであるE方向に飛行する。 At this time, since the traveling direction of the drone 20 is set by the drone traveling direction determination means 52 to the E direction which coincides with the visual field information a3, the pilot M1 moves the traveling direction of the drone 20 forward by the transmitter 27 , The drone 20 flies in the E direction, which is the traveling direction F that matches the visual field information a3.
一方、撮影者M2が、4kカメラ用送信機28によって、4kカメラ25で映像を取得する方向がS方向となるように操作すると、操作信号s7がフライトコントローラ21を介して制御モジュール23に送信されて、4kカメラ25がS方向の映像を取得することが可能となるようにドローン20の向きが調整される。 On the other hand, when the photographer M2 operates the 4k camera transmitter 28 such that the direction in which the 4k camera 25 acquires an image is the S direction, the operation signal s7 is transmitted to the control module 23 via the flight controller 21. The orientation of the drone 20 is adjusted so that the 4k camera 25 can acquire an image in the S direction.
同様に、操作信号s7がフライトコントローラ21を介して4kカメラ25に送信されて、この4kカメラ25によってS方向の映像が取得されて、取得された映像がメモリ26に記録される。 Similarly, the operation signal s7 is transmitted to the 4k camera 25 via the flight controller 21, a video in the S direction is acquired by the 4k camera 25, and the acquired video is recorded in the memory 26.
すなわち、操縦者M1がHMD30で見ているE方向を中心とした視野情報a3と一致する方向を進行方向Fとしてドローン20が飛行するとともに、撮影者M2の操作によってドローン20の向きが調整されてS方向の映像が取得可能となった4kカメラ25によって、記録用のS方向の映像が取得される。 That is, the drone 20 flies with the direction that matches the visual field information a3 centered on the E direction that the pilot M1 sees in the HMD 30 as the traveling direction F, and the direction of the drone 20 is adjusted by the operation of the photographer M2 The 4 k camera 25 that can obtain an image in the S direction acquires an image in the S direction for recording.
このように、本実施の形態の飛行体操縦システム10は、映像取得手段51が、操縦者M1からみたXYZ方向とドローン20からみたXYZ方向とを一致させて、ドローン20のXYZ方向における視野情報aとしての映像を全天球カメラ22−1、22−2で取得する方向を、HMD30を装着した操縦者M1のXYZ方向における頭部の動きに追従させることから、操縦者M1は、ドローン20のXYZ方向における映像を任意に取得してHMD30で見ることができる。 As described above, in the aircraft control system 10 according to the present embodiment, the visual image information in the XYZ directions of the drone 20 with the image acquisition means 51 matching the XYZ directions viewed from the pilot M1 with the XYZ directions viewed from the drone 20 The driver M1 is a drone 20 because the driver M1 follows the movement of the head in the XYZ direction of the operator M1 wearing the HMD 30 in the direction in which the image as a is acquired by the omnidirectional camera 22-1, 22-2. The video in the X, Y, and Z directions can be arbitrarily acquired and viewed on the HMD 30.
このとき、ドローン進行方向決定手段52は、全天球カメラ22−1、22−2で視野情報aを取得する方向とドローン20の進行方向Fとを一致させることから、ドローン20の進行方向Fの映像を、操縦者M1がHMD30によって視野情報aとして見ながら、見ている視野情報aに従ってドローン20を操縦することができる。 At this time, the drone traveling direction determination means 52 matches the traveling direction F of the drone 20 with the direction in which the visual field information a is acquired by the omnidirectional cameras 22-1 and 22-2 and the traveling direction F of the drone 20. The driver M1 can steer the drone 20 according to the visual field information a being viewed by the HMD 30 as the visual field information a.
したがって、操縦者M1が、ドローン20の操縦感覚を喪失することがないことから、誤操縦の可能性が低減されてドローン20の安全な操縦が実現される。 Therefore, since the pilot M1 does not lose the sense of maneuver of the drone 20, the possibility of mis-pilot is reduced and the safe maneuver of the drone 20 is realized.
特に、本実施の形態では、ドローン20の進行方向Fを、全天球カメラ22−1、22−2で視野情報aを取得する方向に一致させることから、操縦者M1がHMD30で見る方向の視野情報aに従ってドローン20が飛行する。したがって、操縦者M1の操縦フィーリングが向上する。 In particular, in the present embodiment, the traveling direction F of the drone 20 is made to coincide with the direction in which the visual field information a is acquired by the omnidirectional cameras 22-1 and 22-2. The drone 20 flies according to the visual field information a. Therefore, the steering feeling of the pilot M1 is improved.
しかも、本実施の形態では、ドローン20からの映像を取得してメモリ26に記録する4kカメラ25がドローン20に搭載されているところ、安全な操縦が実現されるドローン20からの映像が取得されて記録されることから、映像の精度が向上することも期待し得る。 Moreover, in the present embodiment, the 4k camera 25 for acquiring the video from the drone 20 and recording it in the memory 26 is mounted on the drone 20, and the video from the drone 20 for which safe maneuvering is realized is obtained. It can also be expected that the accuracy of the image will be improved since it is recorded.
なお、本発明は上記実施の形態に限定されることはなく、発明の趣旨を逸脱しない範囲で種々変更可能である。上記実施の形態では、飛行体操縦プログラム50がスマートフォン40に格納された場合を説明したが、例えば、飛行体操縦プログラム50はドローン20に格納されていてもよい。 The present invention is not limited to the above embodiment, and various modifications can be made without departing from the scope of the invention. Although the above-mentioned embodiment explained the case where flight control program 50 was stored in smart phone 40, flight control program 50 may be stored in drone 20, for example.
10 飛行体操縦システム
20 ドローン(飛行体)
21 フライトコントローラ
22−1、22−2 全天球カメラ(映像取得用カメラ)
23 制御モジュール
25 4kカメラ(記録用カメラ)
26 メモリ(記録媒体)
30 HMD(頭部装着表示器)
31 表示部
31a ジャイロセンサ
31b 加速度センサ
32 装着部
40 スマートフォン
41 送受信インターフェース
50 飛行体操縦プログラム
51 映像取得手段
52 ドローン進行方向決定手段(飛行体進行方向決定手段)
10 flight control system 20 drone (aircraft)
21 Flight controller 22-1, 22-2 All-sky camera (camera for image acquisition)
23 Control module 25 4k camera (recording camera)
26 Memory (recording medium)
30 HMD (Head mounted display)
31 Display 31a Gyro Sensor 31b Acceleration Sensor 32 Mounting Unit 40 Smartphone 41 Transmitting / Receiving Interface 50 Flight Operating Program 51 Image Acquisition Means 52 Drone Traveling Direction Determining Means (Aircraft Traveling Direction Determining Means)
Claims (4)
前記操縦者からみた全方位と前記飛行体からみた全方位とを一致させて、前記装着者の前記全方位において前記頭部装着表示器を装着した前記操縦者の前記頭部が向く方向に前記飛行体の前記全方位において前記映像取得用カメラで前記映像を取得する方向を追従させる映像取得手段と、
該映像取得手段で追従させる前記映像取得用カメラで前記映像を取得する方向と前記飛行体の進行方向とを一致させる飛行体進行方向決定手段と、
を備えることを特徴とする飛行体操縦システム。 An aircraft controlled by a pilot by a transmitter, an image acquisition camera mounted on the aircraft and acquiring an image from the aircraft, and a display on which the image acquired by the image acquisition camera is displayed Flight control comprising a head mounted display having a unit and a mounting unit for mounting the display unit on the head of the pilot, wherein the pilot can view the image displayed on the display unit In the system
The omnidirectional view from the pilot and the omnidirectional view from the flying object are made to coincide with each other in the direction in which the head of the pilot wearing the head mounted display faces in the omnidirectional of the wearer. An image acquisition unit for causing a direction in which the image acquisition camera acquires the image to follow in all directions of the flying object;
A flying object traveling direction determining unit for matching the direction in which the image is acquired by the image acquisition camera to be followed by the image acquiring unit with the traveling direction of the flying object;
An aircraft control system comprising:
前記飛行体の前記進行方向を前記映像取得用カメラで前記映像を取得する方向に一致させることを特徴とする請求項1に記載の飛行体操縦システム。 The flight vehicle traveling direction determining means
The flight control system according to claim 1, wherein the traveling direction of the flying object is made to coincide with the direction in which the video is obtained by the video acquisition camera.
映像取得手段を用いて、前記操縦者からみた全方位と前記飛行体からみた全方位とを一致させて、前記操縦者の前記全方位において前記頭部装着表示器を装着した前記操縦者の前記頭部が向く方向に前記飛行体の前記全方位において前記映像取得用カメラで前記映像を取得する方向を追従させる映像取得方向追従ステップと、
該映像取得方向追従ステップで追従させる前記映像取得用カメラで前記映像を取得する方向と前記飛行体の進行方向とを飛行体進行方向決定手段によって一致させる飛行体進行方向決定ステップと、
を備えることを特徴とする飛行体操縦システムを用いて前記飛行体を操縦する方法。 An aircraft controlled by a pilot by a transmitter, an image acquisition camera mounted on the aircraft and acquiring an image from the aircraft, and a display on which the image acquired by the image acquisition camera is displayed Flight control comprising a head mounted display having a unit and a mounting unit for mounting the display unit on the head of the pilot, wherein the pilot can view the image displayed on the display unit In a method of steering said vehicle using a system,
Using the image acquisition means, the omnidirectional view from the pilot and the omnidirectional view from the flying object are matched, and the operator of the pilot who wears the head mounted display in the omnidirectional direction of the pilot An image acquisition direction following step in which a direction in which the image acquisition camera acquires the image is followed in the omnidirectional direction of the flying object in a direction in which the head faces;
An aircraft traveling direction determination step in which a direction in which the image is acquired by the image acquisition camera to be followed in the image acquisition direction tracking step and a traveling direction of the aircraft are made to coincide by an aircraft traveling direction determination unit;
A method of steering said vehicle using a vehicle steering system comprising:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017213312A JP7024997B2 (en) | 2017-11-03 | 2017-11-03 | Aircraft Maneuvering System and How to Maneuver an Aircraft Using an Aircraft Maneuvering System |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017213312A JP7024997B2 (en) | 2017-11-03 | 2017-11-03 | Aircraft Maneuvering System and How to Maneuver an Aircraft Using an Aircraft Maneuvering System |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2019084898A true JP2019084898A (en) | 2019-06-06 |
JP2019084898A5 JP2019084898A5 (en) | 2021-01-28 |
JP7024997B2 JP7024997B2 (en) | 2022-02-24 |
Family
ID=66763804
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017213312A Active JP7024997B2 (en) | 2017-11-03 | 2017-11-03 | Aircraft Maneuvering System and How to Maneuver an Aircraft Using an Aircraft Maneuvering System |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7024997B2 (en) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPWO2021019679A1 (en) * | 2019-07-30 | 2021-02-04 | ||
JP2021179969A (en) * | 2019-07-25 | 2021-11-18 | 株式会社プロドローン | Remote operation system and operation device thereof |
JP2022067744A (en) * | 2020-10-21 | 2022-05-09 | トヨタ自動車株式会社 | Robot system, control method for robot system, and program |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH11291991A (en) * | 1998-04-03 | 1999-10-26 | Shinshakai System Kenkyusho:Kk | Remote control steering system of movable body |
JP2006024128A (en) * | 2004-07-09 | 2006-01-26 | Funai Electric Co Ltd | Self-propelled robot |
JP2009173263A (en) * | 2008-01-23 | 2009-08-06 | Honeywell Internatl Inc | Method and system for autonomous tracking of mobile target by unmanned aerial vehicle (uav) |
JP2015194069A (en) * | 2014-03-27 | 2015-11-05 | 株式会社フジタ | Inspection device for structure |
JP2016119655A (en) * | 2014-11-26 | 2016-06-30 | パロット | Video system for piloting drone in immersive mode |
JP2016161194A (en) * | 2015-02-27 | 2016-09-05 | 三菱重工業株式会社 | Missile guidance system, missile, missile guiding method and guiding control program |
JP2017119501A (en) * | 2015-08-06 | 2017-07-06 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America | Unmanned flying object, flight control method, flight control program and controller |
JP2017163265A (en) * | 2016-03-08 | 2017-09-14 | 株式会社リコー | Controlling support system, information processing device, and program |
WO2017170148A1 (en) * | 2016-03-31 | 2017-10-05 | 株式会社ニコン | Flight device, electronic device and program |
-
2017
- 2017-11-03 JP JP2017213312A patent/JP7024997B2/en active Active
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH11291991A (en) * | 1998-04-03 | 1999-10-26 | Shinshakai System Kenkyusho:Kk | Remote control steering system of movable body |
JP2006024128A (en) * | 2004-07-09 | 2006-01-26 | Funai Electric Co Ltd | Self-propelled robot |
JP2009173263A (en) * | 2008-01-23 | 2009-08-06 | Honeywell Internatl Inc | Method and system for autonomous tracking of mobile target by unmanned aerial vehicle (uav) |
JP2015194069A (en) * | 2014-03-27 | 2015-11-05 | 株式会社フジタ | Inspection device for structure |
JP2016119655A (en) * | 2014-11-26 | 2016-06-30 | パロット | Video system for piloting drone in immersive mode |
JP2016161194A (en) * | 2015-02-27 | 2016-09-05 | 三菱重工業株式会社 | Missile guidance system, missile, missile guiding method and guiding control program |
JP2017119501A (en) * | 2015-08-06 | 2017-07-06 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America | Unmanned flying object, flight control method, flight control program and controller |
JP2017163265A (en) * | 2016-03-08 | 2017-09-14 | 株式会社リコー | Controlling support system, information processing device, and program |
WO2017170148A1 (en) * | 2016-03-31 | 2017-10-05 | 株式会社ニコン | Flight device, electronic device and program |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2021179969A (en) * | 2019-07-25 | 2021-11-18 | 株式会社プロドローン | Remote operation system and operation device thereof |
JPWO2021019679A1 (en) * | 2019-07-30 | 2021-02-04 | ||
WO2021019679A1 (en) * | 2019-07-30 | 2021-02-04 | 株式会社エアロネクスト | Flight vehicle flying system and method for flying flight vehicle using flight vehicle flying system |
JP2022067744A (en) * | 2020-10-21 | 2022-05-09 | トヨタ自動車株式会社 | Robot system, control method for robot system, and program |
JP7420047B2 (en) | 2020-10-21 | 2024-01-23 | トヨタ自動車株式会社 | robot system |
Also Published As
Publication number | Publication date |
---|---|
JP7024997B2 (en) | 2022-02-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11733692B2 (en) | Systems and methods for controlling an unmanned aerial vehicle | |
US9158305B2 (en) | Remote control system | |
TWI496605B (en) | Unmanned aerial vehicle, surveillance method and surveillance device | |
WO2016017245A1 (en) | Information processing device, information processing method, and image display system | |
JP2016119655A (en) | Video system for piloting drone in immersive mode | |
US20180143636A1 (en) | Autonomous system for shooting moving images from a drone, with target tracking and holding of the target shooting angle | |
US20100292868A1 (en) | System and method for navigating a remote control vehicle past obstacles | |
CN104781873A (en) | Image display device and image display method, mobile body device, image display system, and computer program | |
US11310412B2 (en) | Autofocusing camera and systems | |
JP4012749B2 (en) | Remote control system | |
CN107918397A (en) | The autonomous camera system of unmanned plane mobile image kept with target following and shooting angle | |
JP7024997B2 (en) | Aircraft Maneuvering System and How to Maneuver an Aircraft Using an Aircraft Maneuvering System | |
WO2017169841A1 (en) | Display device and display control method | |
JP2018165066A (en) | Head mounted display and method for controlling the same | |
WO2018150917A1 (en) | Steered object, moving device, imaging device, movement control method, movement assist method, movement control program, and movement assist program | |
US20230097676A1 (en) | Tactical advanced robotic engagement system | |
US20210325886A1 (en) | Photographing method and device | |
JP2017169170A (en) | Imaging apparatus, moving apparatus, imaging system, imaging method, and program | |
JP6744033B2 (en) | Mobile control system, control signal transmission system, mobile control method, program, and recording medium | |
JP6831949B2 (en) | Display control system, display control device and display control method | |
WO2021019679A1 (en) | Flight vehicle flying system and method for flying flight vehicle using flight vehicle flying system | |
KR101896239B1 (en) | System for controlling drone using motion capture | |
KR20170004407A (en) | system and method for automated reconnaissance | |
JPWO2020110293A1 (en) | Display control system, display control device and display control method | |
JP2023043575A (en) | Mobile body system |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20201104 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20201209 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20201209 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20211015 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20211028 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20211224 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220127 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220203 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7024997 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |