JP2019084898A - Flight body maneuvering system and method for maneuvering flight body using flight body maneuvering system - Google Patents
Flight body maneuvering system and method for maneuvering flight body using flight body maneuvering system Download PDFInfo
- Publication number
- JP2019084898A JP2019084898A JP2017213312A JP2017213312A JP2019084898A JP 2019084898 A JP2019084898 A JP 2019084898A JP 2017213312 A JP2017213312 A JP 2017213312A JP 2017213312 A JP2017213312 A JP 2017213312A JP 2019084898 A JP2019084898 A JP 2019084898A
- Authority
- JP
- Japan
- Prior art keywords
- image
- pilot
- aircraft
- flight
- camera
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 10
- RZVHIXYEVGDQDX-UHFFFAOYSA-N 9,10-anthraquinone Chemical compound C1=CC=C2C(=O)C3=CC=CC=C3C(=O)C2=C1 RZVHIXYEVGDQDX-UHFFFAOYSA-N 0.000 claims description 31
- 230000000007 visual effect Effects 0.000 description 49
- 230000033001 locomotion Effects 0.000 description 8
- 230000005540 biological transmission Effects 0.000 description 7
- 230000001133 acceleration Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 4
- 238000012544 monitoring process Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
Landscapes
- Stereoscopic And Panoramic Photography (AREA)
- Indication In Cameras, And Counting Of Exposures (AREA)
- Studio Devices (AREA)
Abstract
Description
本発明は、飛行体操縦システム及び飛行体操縦システムを用いて飛行体を操縦する方法、特に、操縦者によって送信機で操縦される飛行体、飛行体に搭載されて飛行体からの映像を取得する映像取得用カメラ、及び映像取得用カメラで取得された映像を視認可能な頭部装着表示器を備えた飛行体操縦システム、及びこの飛行体操縦システムを用いて飛行体を操縦する方法に関する。 The present invention relates to a flight control system and a method of steering a flight using a flight control system, and more particularly, to a flight controlled by a pilot by a transmitter, a flight carried on a flight, and an image from the flight The present invention relates to an image acquisition camera, a flight control system including a head mounted display capable of viewing an image obtained by the video acquisition camera, and a method of steering a flight using the flight control system.
対象物を高所から観察したり、上空から地上を空撮したりする場合には、近年、複数のプロペラの回転によって飛行するいわゆるドローンあるいはマルチコプタといった飛行体が用いられることがある。特許文献１には、監視領域を飛行しながら撮影する撮影手段を搭載した飛行体が開示されている。 In the case of observing an object from a high place or aerially photographing the ground from above, in recent years, a flying object such as a so-called drone or multicopter flying by rotating a plurality of propellers may be used. Patent Document 1 discloses an aircraft equipped with a photographing means for photographing while flying in a monitoring area.
このように、飛行体を用いて監視領域を撮影する場合には、監視領域の状況によっては、操縦者の位置から飛行体を視認することができなくなる場合があり、このような場合には、飛行体が視認できる位置まで操縦者が移動して、飛行体を操縦する必要がある。 As described above, when photographing a surveillance area using a flying object, depending on the condition of the monitoring area, it may not be possible to visually recognize the flying object from the position of the pilot. In such a case, It is necessary for the pilot to move to a position where the aircraft can be seen and to maneuver the aircraft.
しかし、監視領域が高所であったり、人が立ち入ることが困難な領域であったりするような場合は、飛行体が視認できる位置まで操縦者が移動することができなくなる場合があり、事実上、飛行体によって監視領域を撮影することができなくなる。 However, if the surveillance area is high or an area where it is difficult for people to get in, the pilot may not be able to move to a position where the aircraft can be seen, so it is virtually impossible. It becomes impossible to capture the surveillance area by the flying object.
このような対策として、飛行体の操縦者が、飛行体に搭載された全天球カメラで取得した映像をヘッドマウントディスプレイで見ながら、飛行体で操縦することが可能な飛行体操縦システムが提案されている。 As a measure against this, a flight control system has been proposed that allows the pilot of the flying object to maneuver with the flying object while viewing the image acquired by the omnidirectional camera mounted on the flying object with the head mount display It is done.
図６は、この種の飛行体操縦システムの概略を説明する図である。図示のように、飛行体操縦システム１００は、操縦者Ｍに操作される送信機１０１ａによって操縦される飛行体１０１、この飛行体１０１の上下方向に搭載されて飛行体１０１の全方位であるＸＹＺ方向を映像として取得可能な２基の全天球カメラ１０２、全天球カメラ１０２で取得した映像が映し出されて操縦者Ｍが装着するヘッドマウントディスプレイ１０３（以下「ＨＭＤ１０３」という。）を主要構成として備える。 FIG. 6 is a diagram for explaining an outline of this type of flight control system. As shown in the figure, the flight control system 100 includes a flight vehicle 101 steered by a transmitter 101a operated by a pilot M, and an XYZ of all directions of the flight vehicle 101 mounted on the flight vehicle 101 in the vertical direction. The head mounted display 103 (hereinafter referred to as "HMD 103") that the pilot M wears with two omnidirectional cameras 102 capable of acquiring a direction as an image and an image acquired by the omnidirectional camera 102 projected is referred to as a main configuration. Prepare as.
この飛行体操縦システム１００によれば、全天球カメラ１０２で取得した映像がＨＭＤ１０３に映し出されることから、操縦者Ｍは、飛行体１０１を直接的に見ることなく、ＨＭＤ１０３に映し出された映像を見ながら操縦することが可能となる（目視外飛行）。 According to the flight control system 100, since the image acquired by the omnidirectional camera 102 is projected on the HMD 103, the pilot M can view the image projected on the HMD 103 without directly looking at the aircraft 101. It is possible to maneuver while watching (flying out of sight).
例えば、図７（ａ）で示すように、ＨＭＤ１０３を装着した操縦者ＭがＮ方向を向いている場合は、飛行体１０１の視野領域Ａにおいて、全天球カメラ１０２がＮ方向を中心とした映像を視野情報ａ１として取得することから、操縦者Ｍは、ＨＭＤ１０３によって視野情報ａ１を見ながら、飛行体１０１を操縦することとなる。 For example, as shown in FIG. 7A, when the operator M wearing the HMD 103 faces in the N direction, the omnidirectional camera 102 centers on the N direction in the visual field area A of the flying object 101. Since the video is acquired as the visual field information a1, the pilot M maneuvers the flying body 101 while viewing the visual field information a1 with the HMD 103.
一方、図７（ｂ）で示すように、ＨＭＤ１０３を装着した操縦者ＭがＮＥ方向を向いている場合は、飛行体１０１の視野領域Ａにおいて、全天球カメラ１０２がＮＥ方向を中心とした映像を視野情報ａ２として取得することから、操縦者Ｍは、ＨＭＤ１０３によって視野情報ａ２を見ながら、飛行体１０１を操縦することとなる。 On the other hand, as shown in FIG. 7B, when the operator M wearing the HMD 103 faces the NE direction, the omnidirectional camera 102 centers on the NE direction in the visual field area A of the flying object 101. Since the video is acquired as the visual field information a2, the pilot M maneuvers the flying body 101 while viewing the visual field information a2 by the HMD 103.
上記の飛行体操縦システム１００によれば、図７（ａ）で示すように、操縦者Ｍが送信機１０１ａによって飛行体１０１の進行方向を矢線ｆで示す前進方向に入力すると、飛行体１０１は矢線Ｆで示す進行方向に飛行することから、操縦者ＭがＨＭＤ１０３によって見ている視野情報ａ１と飛行体１０１の進行方向Ｆとが一致する。 According to the above-described aircraft control system 100, as shown in FIG. 7A, when the pilot M inputs the traveling direction of the aircraft 101 by the transmitter 101a in the forward direction indicated by the arrow f, the aircraft 101 Since the aircraft flies in the traveling direction indicated by the arrow F, the visual field information a1 seen by the operator M by the HMD 103 matches the traveling direction F of the aircraft 101.
しかし、図７（ｂ）で示すように、操縦者ＭがＮＥ方向を向いている場合は、操縦者Ｍが送信機１０１ａによって飛行体１０１を旋回させて、その進行方向ＦをＮ方向からＮＥ方向に変更しない限りは、操縦者ＭがＨＭＤ１０３によって見ている視野情報ａ２と飛行体１０１の進行方向Ｆとが一致しないこととなる。 However, as shown in FIG. 7B, when the pilot M points in the NE direction, the pilot M turns the flying object 101 by the transmitter 101a, and the traveling direction F from the N direction to the NE Unless the direction is changed, the visual field information a2 which the pilot M is looking at by the HMD 103 and the traveling direction F of the flying object 101 do not coincide with each other.
このとき、操縦者Ｍは、視野情報ａ２と飛行体１０１の進行方向Ｆとの不一致によって飛行体１０１の操縦感覚を喪失する場合があることが想定され、操縦感覚の喪失が飛行体１０１の誤操縦につながる可能性もあることが懸念される。 At this time, it is assumed that the pilot M may lose the steering feeling of the flying object 101 due to the mismatch between the visual field information a2 and the traveling direction F of the flying object 101, and the loss of the steering feeling is an error of the flying object 101. There is a concern that it may lead to maneuvering.
本発明は、上記事情に鑑みてなされたものであり、飛行体が取得した映像を見ながら飛行体を操縦する際に、飛行体の操縦を適切に補助することができる飛行体操縦システム、及び飛行体操縦システムを用いて飛行体を操縦する方法を提供することを課題とするものである。 SUMMARY OF THE INVENTION The present invention has been made in view of the above circumstances, and it is possible to appropriately assist the maneuvering of a flying body when maneuvering the flying body while watching a video acquired by the flight body, and It is an object of the present invention to provide a method of steering a flying object using a flight control system.
上記課題を達成するための、本発明に係る飛行体操縦システムは、操縦者によって送信機で操縦される飛行体、飛行体に搭載されて飛行体からの映像を取得する映像取得用カメラ、及び映像取得用カメラで取得された映像が表示される表示部とこの表示部を操縦者の頭部に装着する装着部とを有して操縦者が表示部に表示される映像を視認可能な頭部装着表示器を備えた飛行体操縦システムにおいて、操縦者からみた全方位と飛行体からみた全方位とを一致させて、装着者の全方位において頭部装着表示器を装着した操縦者の頭部が向く方向に飛行体の全方位において映像取得用カメラで映像を取得する方向を追従させる映像取得手段と、映像取得手段で追従させる映像取得用カメラで映像を取得する方向と飛行体の進行方向とを一致させる飛行体進行方向決定手段と、を備えることを特徴としている。 A flight control system according to the present invention for achieving the above-mentioned problems includes an aircraft steered by a pilot with a transmitter, an image acquisition camera mounted on the aircraft and acquiring an image from the aircraft, A head having a display unit on which an image acquired by the image acquisition camera is displayed and a mounting unit for mounting the display unit on the head of the operator, and the operator can visually recognize the image displayed on the display unit In a flight control system equipped with a head mounted indicator, the head of the pilot wearing the head mounted display in all directions of the wearer with the omnidirectional view from the pilot and the omnidirectional from the flight body matched. Direction of acquiring image with image acquisition means to make the image acquisition camera follow the direction to get image by the image acquisition camera in all directions of the flight body in the direction to which the section points Match the direction It is characterized by and a row body traveling direction setting unit.
この飛行体操縦システムによれば、映像取得手段が、操縦者からみた全方位と飛行体からみた全方位とを一致させて、飛行体の全方位において映像取得用カメラで映像を取得する方向を、頭部装着表示器を装着した操縦者の全方位における頭部の動きに追従させることから、操縦者は、飛行体の全方位における映像を任意に取得して頭部装着表示器で見ることができる。 According to this flight control system, the image acquisition means matches the omnidirectional view from the pilot with the omnidirectional view from the aircraft, and obtains the direction in which the image acquisition camera acquires an image in all directions of the aircraft. In order to follow the movement of the head in all directions of the pilot equipped with the head mounted display, the pilot can obtain an arbitrary image in all directions of the flying object and view it on the head mounted display. Can.
しかも、飛行体進行方向決定手段は、映像取得用カメラで映像を取得する方向と飛行体の進行方向とを一致させることから、飛行体の進行方向の映像を、操縦者が頭部装着表示器で見ながら、見ている映像に従って飛行体を操縦することができる。 Moreover, since the flight vehicle traveling direction determining means matches the direction in which the image acquisition camera acquires the image with the traveling direction of the flight vehicle, the operator can display the video of the flight vehicle traveling direction on the head mounted display You can maneuver the flying body according to the image you are watching while watching at.
したがって、操縦者が、飛行体の操縦感覚を喪失することがないことから、誤操縦の可能性が低減されて飛行体の安全な操縦が実現される。 Therefore, since the pilot does not lose the sense of flight control of the aircraft, the possibility of mis-pilot is reduced and safe flight control of the aircraft is realized.
しかも、この飛行体操縦システムの飛行体進行方向決定手段は、飛行体の進行方向を映像取得用カメラで映像を取得する方向に一致させることを特徴としている。したがって、操縦者が頭部装着表示器で見る方向の映像に従って飛行体が飛行することから、操縦者の操縦フィーリングが向上する。 In addition, the flying object traveling direction determination means of this flying object steering system is characterized in that the traveling direction of the flying object is made to coincide with the direction in which the image acquisition camera acquires an image. Therefore, since the flying object follows the image of the direction viewed by the pilot on the head mounted display, the steering feeling of the pilot is improved.
さらに、飛行体操縦システムは、飛行体からの映像を取得して記録媒体に記録する記録用カメラが飛行体に搭載されたことを特徴としている。これによれば、安全な操縦が実現される飛行体からの映像が取得されて記録されることから、映像の精度が向上することを期待し得る。 Furthermore, the flight control system is characterized in that the flight camera is equipped with a recording camera for acquiring an image from the flight and recording the image on a recording medium. According to this, since the image from the flying object for which safe maneuvering is realized is acquired and recorded, it can be expected that the accuracy of the image is improved.
上記課題を達成するための、本発明に係る飛行体を操縦する方法は、操縦者によって送信機で操縦される飛行体、飛行体に搭載されて飛行体からの映像を取得する映像取得用カメラ、及び映像取得用カメラで取得された映像が表示される表示部とこの表示部を操縦者の頭部に装着する装着部とを有して操縦者が表示部に表示される映像を視認可能な頭部装着表示器を備えた飛行体操縦システムを用いて飛行体を操縦する方法において、映像取得手段を用いて、操縦者からみた全方位と飛行体からみた全方位とを一致させて、操縦者の全方位において頭部装着表示器を装着した操縦者の頭部が向く方向に飛行体の全方位において映像取得用カメラで映像を取得する方向を追従させる映像取得方向追従ステップと、映像取得方向追従ステップで追従させる映像取得用カメラで映像を取得する方向と飛行体の進行方向とを飛行体進行方向決定手段によって一致させる飛行体進行方向決定ステップと、を備えることを特徴としている。 In order to achieve the above object, a method of operating a flying body according to the present invention includes a flying body steered by a pilot with a transmitter, and an image acquisition camera mounted on the flying body and acquiring an image from the flying body , And a display unit on which an image acquired by the image acquisition camera is displayed, and a mounting unit for mounting the display unit on the head of the operator so that the operator can view the image displayed on the display unit In the method of operating a flying object using a flight control system equipped with a suitable head mounted display, using an image acquisition means, the omnidirectional view from the operator and the omnidirectional view from the flying object are matched, An image acquisition direction following step for following the direction in which the image acquisition camera acquires an image in all directions of the flying object in a direction in which the head of the pilot wearing the head mounted display faces in all directions of the operator Follow in acquisition direction following step It is characterized by and a flying object moving direction determining step to match the aircraft traveling direction setting unit and a traveling direction of the direction of the aircraft to obtain an image in the image acquisition camera to.
飛行体を操縦するこの方法によれば、操縦者が、飛行体の操縦感覚を喪失することがないことから、誤操縦の可能性が低減されて飛行体の安全な操縦が実現される。 According to this method of steering the flying body, since the pilot does not lose the maneuvering feeling of the flying body, the possibility of mishandling is reduced and the safe handling of the flying body is realized.
この発明によれば、操縦者が、飛行体の操縦感覚を喪失することがないことから、誤操縦の可能性が低減されて飛行体の安全な操縦が実現される。 According to the present invention, since the pilot does not lose the sense of flight control of the aircraft, the possibility of mis-pilot is reduced and safe flight control of the flight vehicle is realized.
次に、図１〜図５に基づいて、本発明の実施の形態に係る飛行体操縦システムについて説明する。 Next, a flight control system according to an embodiment of the present invention will be described based on FIGS. 1 to 5.
なお、本実施の形態において、飛行体が複数のプロペラの回転によって飛行するドローンである場合を例として説明する。 In the present embodiment, the case where the flying object is a drone flying by rotation of a plurality of propellers will be described as an example.
図１は、本実施の形態に係る飛行体操縦システムの概略を説明する図、図２は、同じく本実施の形態に係る飛行体操縦システムの構成の概略を説明するブロック図である。 FIG. 1 is a view for explaining an outline of a flight control system according to the present embodiment, and FIG. 2 is a block diagram for explaining an outline of the configuration of the flight control system according to the present embodiment.
図示のように、飛行体操縦システム１０は、操縦者Ｍ１に操作される送信機２７によって操縦されるドローン２０、ドローン２０の上下方向に搭載されてドローン２０の全方位であるＸＹＺ方向を映像として取得可能な２基の映像取得用カメラである全天球カメラ２２−１、２２−２、全天球カメラ２２−１、２２−２で取得した映像が映し出されて操縦者Ｍ１が装着する頭部装着表示器であるヘッドマウントディスプレイ３０（以下「ＨＭＤ３０」という。）を備える。 As illustrated, the flying object steering system 10 is mounted in the vertical direction of the drone 20 and the drone 20 operated by the transmitter 27 operated by the pilot M1, and images in all directions of the drone 20 as XYZ images The images acquired by the omnidirectional cameras 22-1 and 22-2 and the omnidirectional cameras 22-1 and 22-2, which are two obtainable video acquisition cameras, are projected and the head worn by the pilot M1 A head mounted display 30 (hereinafter referred to as "HMD 30"), which is a part mounting display, is provided.
この飛行体操縦システム１０は、ＨＭＤ３０と全天球カメラ２２−１、２２−２とドローン２０とを連携させる飛行体操縦プログラム５０が格納される多機能型携帯情報端末であるスマートフォン４０を備える。 The flight control system 10 includes a smartphone 40 which is a multifunctional portable information terminal in which a flight control program 50 for linking the HMD 30, the omnidirectional cameras 22-1 and 22-2, and the drone 20 is stored.
さらに、飛行体操縦システム１０は、撮影者Ｍ２に操作される４ｋカメラ用送信機２８によって操作されるとともに、ドローン２０に搭載されてドローン２０からの映像を取得して記録媒体であるメモリ２６に記録する記録用カメラである４ｋカメラ２５を備える。 Furthermore, the flight control system 10 is operated by the 4k camera transmitter 28 operated by the photographer M2, and is mounted on the drone 20 to obtain an image from the drone 20 and to the memory 26 which is a recording medium. A 4 k camera 25 which is a recording camera for recording is provided.
ドローン２０は、本実施の形態では、スマートフォン４０に内蔵された後述する送受信インターフェース４１からの追従信号ｓ３及び飛行方向決定信号ｓ５、送信機２７からの操縦信号ｓ６、及び４ｋカメラ用送信機２８からの操作信号ｓ７に基づいてドローン２０の各種の作動を制御するフライトコントローラ２１が格納された本体部２０Ａ、及び本体部２０Ａに設けられてモータ２４の駆動によって回転する４基のプロペラ２０Ｂを主要構成として備える。 In the present embodiment, the drone 20 receives a follow signal s3 and a flight direction determination signal s5 from a transmission / reception interface 41, which will be described later, built in the smartphone 40, a steering signal s6 from the transmitter 27, and a 4 k camera transmitter 28. Main unit 20A in which the flight controller 21 for controlling various operations of the drone 20 is stored based on the operation signal s7, and four propellers 20B provided in the main unit 20A and rotated by driving the motor 24 as main components Prepare as.
本体部２０Ａに格納されたフライトコントローラ２１は、本実施の形態では、全天球カメラ２２−１、２２−２による映像の取得を制御するとともに、同じく本体部２０Ａに格納されてモータ２４の駆動を制御する制御モジュール２３を制御し、かつ４ｋカメラ２５による映像の取得を制御する。 In the present embodiment, the flight controller 21 stored in the main body 20A controls acquisition of images by the omnidirectional cameras 22-1 and 22-2, and is also stored in the main body 20A and drives the motor 24. Control the control module 23 that controls the image acquisition by the 4 k camera 25.
全天球カメラ２２−１、２２−２は、本実施の形態では、フライトコントローラ２１を介した追従信号ｓ３に基づいて、ドローン２０の全方位であるＸＹＺ方向における任意の方向の映像を取得し、取得した映像を視野情報ａとしてフライトコントローラ２１に出力する。 In the present embodiment, the omnidirectional camera 22-1 or 22-2 acquires an image in an arbitrary direction in the XYZ directions which are all directions of the drone 20 based on the follow-up signal s3 via the flight controller 21. The acquired image is output to the flight controller 21 as the visual field information a.
制御モジュール２３は、本実施の形態では、フライトコントローラ２１を介した飛行方向決定信号ｓ５、操縦信号ｓ６及び操作信号ｓ７に基づいて、並進運動ｘ、ｙ及びｚ、並びに回転運動θ１、θ２及びθ３といった６自由度を有するドローン２０の空間的配置、速度、及び加速度を調整して、モータ２４の駆動を制御する。 In the present embodiment, the control module 23 performs translational motions x, y and z, and rotational motions θ 1 and θ 2 based on the flight direction determination signal s 5, the steering signal s 6 and the operation signal s 7 via the flight controller 21. And θ 3 to adjust the spatial arrangement, velocity, and acceleration of the drone 20 having six degrees of freedom to control the drive of the motor 24.
４ｋカメラ２５は、本実施の形態では、フライトコントローラ２１を介した操作信号ｓ７に基づいて、メモリ２６に記録される記録用の映像を取得する。 In the present embodiment, the 4k camera 25 acquires a recording image to be recorded in the memory 26 based on the operation signal s7 via the flight controller 21.
ＨＭＤ３０は、本実施の形態では、表示部３１及び表示部３１を操縦者Ｍ１の頭部に装着する装着部３２を備える。 HMD30 is equipped with the mounting part 32 which mounts the display part 31 and the display part 31 in the head of the operator M1 in this Embodiment.
表示部３１は、本実施の形態では、ＨＭＤ３０を装着する操縦者Ｍ１の頭部の動きや角度や方向等を操縦者Ｍ１の全方位であるＸＹＺ方向において検知するジャイロセンサ３１ａ及び加速度センサ３１ｂ、及び全天球カメラ２２−１、２２−２で取得された映像が表示される表示ディスプレイ３１ｃを備える。 In the present embodiment, the display unit 31 is a gyro sensor 31a and an acceleration sensor 31b that detect the movement, angle, direction, etc. of the head of the operator M1 wearing the HMD 30 in the XYZ directions that are all directions of the operator M1. And a display 31c on which an image acquired by the omnidirectional camera 22-1, 22-2 is displayed.
ジャイロセンサ３１ａ及び加速度センサ３１ｂで検知された操縦者Ｍ１のＸＹＺ方向における頭部の動きや角度や方向等はそれぞれ、制御信号ｓ１及び制御信号ｓ２として、スマートフォン４０の送受信インターフェース４１に送信される。 The movement, angle, direction, and the like of the head of the operator M1 in the XYZ directions detected by the gyro sensor 31a and the acceleration sensor 31b are transmitted to the transmission / reception interface 41 of the smartphone 40 as the control signal s1 and the control signal s2, respectively.
一方、表示ディスプレイ３１ｃには、全天球カメラ２２−１、２２−２で取得された映像が視野情報ａとして、フライトコントローラ２１及び送受信インターフェース４１を介して送信される。 On the other hand, the image acquired by the omnidirectional cameras 22-1 and 22-2 is transmitted to the display 31c as the visual field information a through the flight controller 21 and the transmission / reception interface 41.
スマートフォン４０には、本実施の形態では、送受信インターフェース４１が内蔵されるとともに、飛行体操縦プログラム５０が格納されている。 In the present embodiment, the smartphone 40 incorporates the transmission / reception interface 41 and stores the flight control program 50.
送受信インターフェース４１は、ジャイロセンサ３１ａ及び加速度センサ３１ｂからの制御信号ｓ１、ｓ２を受信して飛行体操縦プログラム５０に送信するとともに、飛行体操縦プログラム５０から入力される追従信号ｓ３及び飛行方向決定信号ｓ５をフライトコントローラ２１に送信し、かつフライトコントローラ２１から視野情報ａを受信して表示ディスプレイ３１ｃに送信する。 The transmission / reception interface 41 receives the control signals s1 and s2 from the gyro sensor 31a and the acceleration sensor 31b and transmits the control signals s1 and s2 to the flight control program 50, and also follows the tracking signal s3 and the flight direction determination signal input from the flight control program 50. s5 is transmitted to the flight controller 21, and the visual field information a is received from the flight controller 21 and transmitted to the display 31c.
飛行体操縦プログラム５０は、本実施の形態では、映像取得手段５１及び飛行体進行方向決定手段であるドローン進行方向決定手段５２を備える。 In the present embodiment, the flight vehicle maneuvering program 50 includes an image acquisition means 51 and a drone travel direction determination means 52 which is a flight body travel direction determination means.
映像取得手段５１は、送受信インターフェース４１を介してジャイロセンサ３１ａ及び加速度センサ３１ｂからの制御信号ｓ１、ｓ２を受信し、この制御信号ｓ１、ｓ２に基づいて、ＨＭＤ３０を装着した操縦者Ｍ１のＸＹＺ方向における頭部の動きや角度や方向等を把握する。 The image acquisition unit 51 receives the control signals s1 and s2 from the gyro sensor 31a and the acceleration sensor 31b via the transmission / reception interface 41, and based on the control signals s1 and s2, the XYZ directions of the operator M1 wearing the HMD 30. Understand the movement, angle, direction, etc. of the head in
さらに、映像取得手段５１は、このように把握した操縦者Ｍ１の頭部の動きや角度や方向等に基づいて、操縦者Ｍ１からみたＸＹＺ方向とドローン２０からみたＸＹＺ方向とを一致させて、ドローン２０のＸＹＺ方向の任意の映像を取得するように全天球カメラ２２−１、２２−２に指示する追従信号ｓ３を生成する。 Furthermore, based on the movement, angle, direction, etc. of the head of the pilot M1 grasped in this way, the image acquisition means 51 matches the XYZ directions from the pilot M1 with the XYZ directions from the drone 20. A follow-up signal s3 is generated which instructs the omnidirectional cameras 22-1 and 22-2 to acquire an arbitrary image of the drone 20 in the X, Y, and Z directions.
例えば、図３で示すように、ＨＭＤ３０を装着した操縦者Ｍ１がＮ方向を向いている場合は、制御信号ｓ１、ｓ２に基づいて、全天球カメラ２２−１、２２−２で映像を取得する方向がドローン２０の視野領域ＡにおけるＮ方向となるように、追従信号ｓ３を生成する。 For example, as shown in FIG. 3, when the operator M1 wearing the HMD 30 faces in the N direction, images are acquired by the omnidirectional cameras 22-1 and 22-2 based on the control signals s1 and s2. The follow-up signal s3 is generated such that the direction to be set is the N direction in the visual field area A of the drone 20.
この追従信号ｓ３に基づいて、全天球カメラ２２−１、２２−２によって、ドローン２０の視野領域ＡにおけるＮ方向を中心とした映像が視野情報ａ１として取得される。 Based on the follow-up signal s3, an image centered on the N direction in the visual field area A of the drone 20 is acquired as visual field information a1 by the omnidirectional cameras 22-1 and 22-2.
一方、ＨＭＤ３０を装着した操縦者Ｍ１がＮ方向からＮＥ方向に向きを変えた場合は、制御信号ｓ１、ｓ２に基づいて、全天球カメラ２２−１、２２−２で映像を取得する方向がドローン２０の視野領域ＡにおけるＮＥ方向となるように、追従信号ｓ３を生成する。 On the other hand, when the pilot M1 wearing the HMD 30 changes the direction from the N direction to the NE direction, based on the control signals s1 and s2, the direction in which the omnidirectional camera 22-1 and 22-2 acquire an image is The follow-up signal s3 is generated so as to be in the NE direction in the visual field area A of the drone 20.
この追従信号ｓ３に基づいて、全天球カメラ２２−１、２２−２によって、ドローン２０の視野領域ＡにおけるＮ方向を中心とした視野情報ａ１から、ＮＥ方向を中心とした視野情報ａ２が取得される。 From the visual field information a1 centered on the N direction in the visual field region A of the drone 20, the visual field information a2 centered on the NE direction is acquired by the omnidirectional camera 22-1, 22-2 based on the following signal s3. Be done.
さらに、映像取得手段５１は、追従信号ｓ３を飛行方向指示信号ｓ４として、ドローン進行方向決定手段５２に出力する。 Furthermore, the image acquisition means 51 outputs the follow-up signal s3 to the drone traveling direction determination means 52 as the flight direction instruction signal s4.
ドローン進行方向決定手段５２は、本実施の形態では、飛行方向指示信号ｓ４に基づいて、全天球カメラ２２−１、２２−２で映像を取得する方向とドローン２０の進行方向とを一致させるものである。 In the present embodiment, the drone traveling direction determination means 52 matches the direction in which the omnidirectional camera 22-1 or 22-2 acquires an image with the traveling direction of the drone 20 based on the flight direction instruction signal s 4. It is a thing.
具体的には、映像取得手段５１から出力された飛行方向指示信号ｓ４に基づいて、ドローン２０の進行方向を、視野情報ａとしての映像を全天球カメラ２２−１、２２−２で取得する方向に一致させる飛行方向決定信号ｓ５を生成し、この飛行方向決定信号ｓ５を、送受信インターフェース４１及びフライトコントローラ２１を介して制御モジュール２３に送信する。 Specifically, based on the flight direction instruction signal s4 output from the image acquisition means 51, the omnidirectional camera 22-1 or 22-2 acquires an image as the visual field information a on the traveling direction of the drone 20. A flight direction determination signal s5 that matches the direction is generated, and the flight direction determination signal s5 is transmitted to the control module 23 via the transmission / reception interface 41 and the flight controller 21.
次に、図４及び図５に基づいて、飛行体操縦システム１０の作動概略を説明する。 Next, an operation outline of the vehicle steering system 10 will be described based on FIGS. 4 and 5.
図４（ａ）で示すように、例えば、ＨＭＤ３０を装着した操縦者Ｍ１がＮ方向を向いている場合は、制御信号ｓ１、ｓ２に基づいて、全天球カメラ２２−１、２２−２で映像を取得する方向がドローン２０の視野領域ＡにおけるＮ方向となるように、追従信号ｓ３を生成する。 As shown in FIG. 4A, for example, when the operator M1 wearing the HMD 30 faces the N direction, the omnidirectional cameras 22-1 and 22-2 are based on the control signals s1 and s2. The follow-up signal s3 is generated so that the direction of acquiring the image is the N direction in the visual field area A of the drone 20.
この追従信号ｓ３に基づいて、全天球カメラ２２−１、２２−２によって、ドローン２０の視野領域ＡにおけるＮ方向を中心とした映像が視野情報ａ１として取得される。 Based on the follow-up signal s3, an image centered on the N direction in the visual field area A of the drone 20 is acquired as visual field information a1 by the omnidirectional cameras 22-1 and 22-2.
このとき、飛行体操縦プログラム５０の映像取得手段５１は、追従信号ｓ３を飛行方向指示信号ｓ４として、ドローン進行方向決定手段５２に出力する。ドローン進行方向決定手段５２は、飛行方向指示信号ｓ４に基づいて、ドローン２０の進行方向を視野情報ａ１と一致させてＮ方向とする飛行方向決定信号ｓ５を生成して、制御モジュール２３に送信する。 At this time, the image acquisition means 51 of the aircraft maneuvering program 50 outputs the follow signal s3 to the drone travel direction determination means 52 as the flight direction instruction signal s4. Based on the flight direction instruction signal s4, the drone traveling direction determination means 52 generates a flight direction determination signal s5 in which the traveling direction of the drone 20 matches the visual field information a1 to be the N direction and transmits it to the control module 23. .
この場合において、操縦者Ｍ１が送信機２７によってドローン２０の進行方向を矢線ｆで示す前進方向に入力すると、送信機２７からの操縦信号ｓ６がフライトコントローラ２１を介して制御モジュール２３に送信され、ドローン２０は、視野情報ａ１と一致する矢線Ｆで示す進行方向であるＮ方向に飛行する。 In this case, when the pilot M1 inputs the advancing direction of the drone 20 by the transmitter 27 in the forward direction indicated by the arrow f, the steering signal s6 from the transmitter 27 is transmitted to the control module 23 via the flight controller 21. The drone 20 flies in an N direction, which is a traveling direction indicated by an arrow F, which coincides with the visual field information a1.
一方、図４（ｂ）で示すように、例えば、ＨＭＤ３０を装着した操縦者Ｍ１がＮ方向からＮＥ方向に向きを変えた場合は、制御信号ｓ１、ｓ２に基づいて、全天球カメラ２２−１、２２−２で映像を取得する方向がドローン２０の視野領域ＡにおけるＮＥ方向となるように、追従信号ｓ３を生成する。 On the other hand, as shown in FIG. 4B, for example, when the pilot M1 wearing the HMD 30 changes the direction from the N direction to the NE direction, the omnidirectional camera 22-based on the control signals s1 and s2. The follow-up signal s3 is generated such that the direction in which the image is acquired in 1 and 22-2 is the NE direction in the visual field area A of the drone 20.
この追従信号ｓ３に基づいて、全天球カメラ２２−１、２２−２によって、ドローン２０の視野領域ＡにおけるＮＥ方向を中心とした映像が視野情報ａ２として取得される。 Based on this follow-up signal s3, an image centered on the NE direction in the visual field area A of the drone 20 is acquired as visual field information a2 by the omnidirectional cameras 22-1 and 22-2.
このとき、飛行体操縦プログラム５０の映像取得手段５１は、追従信号ｓ３を飛行方向指示信号ｓ４として、ドローン進行方向決定手段５２に出力する。ドローン進行方向決定手段５２は、飛行方向指示信号ｓ４に基づいて、ドローン２０の進行方向を視野情報ａ２と一致させてＮＥ方向とする飛行方向決定信号ｓ５を生成して、制御モジュール２３に送信する。 At this time, the image acquisition means 51 of the aircraft maneuvering program 50 outputs the follow signal s3 to the drone travel direction determination means 52 as the flight direction instruction signal s4. Based on the flight direction instruction signal s4, the drone traveling direction determination means 52 matches the traveling direction of the drone 20 with the visual field information a2 to generate a flight direction determination signal s5 which is the NE direction and transmits it to the control module 23. .
この場合において、操縦者Ｍ１が送信機２７によってドローン２０の進行方向を矢線ｆで示す前進方向に入力すると、送信機２７からの操縦信号ｓ６がフライトコントローラ２１を介して制御モジュール２３に送信され、ドローン２０は、視野情報ａ２と一致する進行方向ＦであるＮＥ方向に飛行する。 In this case, when the pilot M1 inputs the advancing direction of the drone 20 by the transmitter 27 in the forward direction indicated by the arrow f, the steering signal s6 from the transmitter 27 is transmitted to the control module 23 via the flight controller 21. The drone 20 flies in the NE direction, which is the traveling direction F, which coincides with the visual field information a2.
図５は、操縦者Ｍ１によってドローン２０が操縦され、撮影者Ｍ２によってドローン２０に搭載された４ｋカメラ２５が操作される場合の飛行体操縦システム１０の作動概略を説明する図である。 FIG. 5 is a diagram for explaining the operation outline of the aircraft control system 10 when the drone 20 is steered by the pilot M1 and the 4k camera 25 mounted on the drone 20 is operated by the photographer M2.
図５（ａ）で示すように、ＨＭＤ３０を装着した操縦者Ｍ１がＮ方向を向いている場合は、全天球カメラ２２−１、２２−２によって、ドローン２０の視野領域ＡにおけるＮ方向を中心とした映像が視野情報ａ１として取得される。 As shown in FIG. 5A, when the operator M1 wearing the HMD 30 faces the N direction, the N direction in the visual field area A of the drone 20 is set by the omnidirectional cameras 22-1 and 22-2. An image centered on is acquired as visual field information a1.
このとき、ドローン２０の進行方向は、ドローン進行方向決定手段５２によって、視野情報ａ１と一致するＮ方向に設定されることから、操縦者Ｍ１が送信機２７によってドローン２０の進行方向を前進方向ｆに入力すると、ドローン２０は、視野情報ａ１と一致する進行方向ＦであるＮ方向に飛行する。 At this time, the traveling direction of the drone 20 is set by the drone traveling direction determination means 52 to the N direction that matches the visual field information a1, so that the pilot M1 moves the traveling direction of the drone 20 forward by the transmitter 27 , The drone 20 flies in the N direction which is the traveling direction F that matches the visual field information a1.
一方、撮影者Ｍ２が、４ｋカメラ用送信機２８によって、４ｋカメラ２５で映像を取得する方向がＮ方向となるように操作すると、操作信号ｓ７がフライトコントローラ２１を介して制御モジュール２３に送信されて、４ｋカメラ２５がＮ方向の映像を取得可能となるようにドローン２０の向きが調整される。 On the other hand, when the photographer M2 operates the 4k camera transmitter 28 such that the direction in which the 4k camera 25 acquires an image is N, the operation signal s7 is transmitted to the control module 23 via the flight controller 21. The orientation of the drone 20 is adjusted so that the 4k camera 25 can acquire an image in the N direction.
同様に、操作信号ｓ７がフライトコントローラ２１を介して４ｋカメラ２５に送信されて、この４ｋカメラ２５によってＮ方向の映像が取得されて、取得された映像がメモリ２６に記録される。 Similarly, the operation signal s7 is transmitted to the 4k camera 25 via the flight controller 21, an image in the N direction is acquired by the 4k camera 25, and the acquired image is recorded in the memory 26.
すなわち、操縦者Ｍ１がＨＭＤ３０で見ているＮ方向を中心とした視野情報ａ１と一致する方向を進行方向Ｆとしてドローン２０が飛行するとともに、撮影者Ｍ２が操作する４ｋカメラ２５によって、ドローン２０の進行方向Ｆであって操縦者Ｍ１がＨＭＤ３０で見ているＮ方向の視野情報ａ１が記録用の映像として取得される。 That is, the drone 20 flies with a direction that matches the visual field information a1 centered on the N direction viewed by the pilot M1 with the HMD 30 as the traveling direction F, and the 4k camera 25 operated by the photographer M2 The visual field information a1 in the N direction, which is the traveling direction F and is viewed by the operator M1 with the HMD 30, is acquired as an image for recording.
図５（ｂ）で示すように、ＨＭＤ３０を装着した操縦者Ｍ１がＮ方向を向いており、全天球カメラ２２−１、２２−２によってＮ方向の映像が視野情報ａ１として取得される場合であって、ドローン２０が視野情報ａ１と一致する進行方向ＦであるＮ方向に飛行する場合において、撮影者Ｍ２が、４ｋカメラ用送信機２８によって、４ｋカメラ２５で映像を取得する方向がＥ方向となるように操作する。 As shown in FIG. 5 (b), when the operator M1 wearing the HMD 30 faces the N direction, and an image in the N direction is acquired as the visual field information a1 by the omnidirectional cameras 22-1 and 22-2. In the case where the drone 20 flies in the N direction, which is the traveling direction F that matches the visual field information a1, the direction in which the photographer M2 acquires an image with the 4k camera 25 by the 4k camera transmitter 28 is E. Operate in the direction.
このように操作すると、操作信号ｓ７がフライトコントローラ２１を介して制御モジュール２３に送信されて、４ｋカメラ２５がＥ方向の映像を取得可能となるようにドローン２０の向きが調整される。 When operated in this manner, the operation signal s7 is transmitted to the control module 23 via the flight controller 21, and the direction of the drone 20 is adjusted so that the 4k camera 25 can acquire an image in the E direction.
同様に、操作信号ｓ７がフライトコントローラ２１を介して４ｋカメラ２５に送信されて、この４ｋカメラ２５によってＥ方向の映像が取得されて、取得された映像がメモリ２６に記録される。 Similarly, the operation signal s7 is transmitted to the 4k camera 25 via the flight controller 21, an image in the E direction is acquired by the 4k camera 25, and the acquired image is recorded in the memory 26.
すなわち、操縦者Ｍ１がＨＭＤ３０で見ているＮ方向を中心とした視野情報ａ１と一致する方向を進行方向Ｆとしてドローン２０が飛行するとともに、撮影者Ｍ２の操作によってドローン２０の向きが調整されてＥ方向の映像が取得可能となった４ｋカメラ２５によって、記録用のＥ方向の映像が取得される。 That is, the drone 20 flies with a direction that matches the visual field information a1 centered on the N direction viewed by the pilot M1 with the HMD 30 as the traveling direction F, and the direction of the drone 20 is adjusted by the operation of the photographer M2 The 4 k camera 25 that can obtain an E-direction image acquires an E-direction image for recording.
一方、図５（ｃ）で示すように、ＨＭＤ３０を装着した操縦者Ｍ１がＮ方向からＥ方向に向きを変えた場合は、全天球カメラ２２−１、２２−２によって、ドローン２０の視野領域ＡにおけるＥ方向を中心とした映像が視野情報ａ３として取得される。 On the other hand, as shown in FIG. 5C, when the pilot M1 wearing the HMD 30 changes the direction from the N direction to the E direction, the field of view of the drone 20 is obtained by the omnidirectional cameras 22-1 and 22-2. An image centering on the E direction in the region A is acquired as the visual field information a3.
このとき、ドローン２０の進行方向は、ドローン進行方向決定手段５２によって、視野情報ａ３と一致するＥ方向に設定されることから、操縦者Ｍ１が送信機２７によってドローン２０の進行方向を前進方向ｆに入力すると、ドローン２０は、視野情報ａ３と一致する進行方向ＦであるＥ方向に飛行する。 At this time, since the traveling direction of the drone 20 is set by the drone traveling direction determination means 52 to the E direction which coincides with the visual field information a3, the pilot M1 moves the traveling direction of the drone 20 forward by the transmitter 27 , The drone 20 flies in the E direction, which is the traveling direction F that matches the visual field information a3.
一方、撮影者Ｍ２が、４ｋカメラ用送信機２８によって、４ｋカメラ２５で映像を取得する方向がＳ方向となるように操作すると、操作信号ｓ７がフライトコントローラ２１を介して制御モジュール２３に送信されて、４ｋカメラ２５がＳ方向の映像を取得することが可能となるようにドローン２０の向きが調整される。 On the other hand, when the photographer M2 operates the 4k camera transmitter 28 such that the direction in which the 4k camera 25 acquires an image is the S direction, the operation signal s7 is transmitted to the control module 23 via the flight controller 21. The orientation of the drone 20 is adjusted so that the 4k camera 25 can acquire an image in the S direction.
同様に、操作信号ｓ７がフライトコントローラ２１を介して４ｋカメラ２５に送信されて、この４ｋカメラ２５によってＳ方向の映像が取得されて、取得された映像がメモリ２６に記録される。 Similarly, the operation signal s7 is transmitted to the 4k camera 25 via the flight controller 21, a video in the S direction is acquired by the 4k camera 25, and the acquired video is recorded in the memory 26.
すなわち、操縦者Ｍ１がＨＭＤ３０で見ているＥ方向を中心とした視野情報ａ３と一致する方向を進行方向Ｆとしてドローン２０が飛行するとともに、撮影者Ｍ２の操作によってドローン２０の向きが調整されてＳ方向の映像が取得可能となった４ｋカメラ２５によって、記録用のＳ方向の映像が取得される。 That is, the drone 20 flies with the direction that matches the visual field information a3 centered on the E direction that the pilot M1 sees in the HMD 30 as the traveling direction F, and the direction of the drone 20 is adjusted by the operation of the photographer M2 The 4 k camera 25 that can obtain an image in the S direction acquires an image in the S direction for recording.
このように、本実施の形態の飛行体操縦システム１０は、映像取得手段５１が、操縦者Ｍ１からみたＸＹＺ方向とドローン２０からみたＸＹＺ方向とを一致させて、ドローン２０のＸＹＺ方向における視野情報ａとしての映像を全天球カメラ２２−１、２２−２で取得する方向を、ＨＭＤ３０を装着した操縦者Ｍ１のＸＹＺ方向における頭部の動きに追従させることから、操縦者Ｍ１は、ドローン２０のＸＹＺ方向における映像を任意に取得してＨＭＤ３０で見ることができる。 As described above, in the aircraft control system 10 according to the present embodiment, the visual image information in the XYZ directions of the drone 20 with the image acquisition means 51 matching the XYZ directions viewed from the pilot M1 with the XYZ directions viewed from the drone 20 The driver M1 is a drone 20 because the driver M1 follows the movement of the head in the XYZ direction of the operator M1 wearing the HMD 30 in the direction in which the image as a is acquired by the omnidirectional camera 22-1, 22-2. The video in the X, Y, and Z directions can be arbitrarily acquired and viewed on the HMD 30.
このとき、ドローン進行方向決定手段５２は、全天球カメラ２２−１、２２−２で視野情報ａを取得する方向とドローン２０の進行方向Ｆとを一致させることから、ドローン２０の進行方向Ｆの映像を、操縦者Ｍ１がＨＭＤ３０によって視野情報ａとして見ながら、見ている視野情報ａに従ってドローン２０を操縦することができる。 At this time, the drone traveling direction determination means 52 matches the traveling direction F of the drone 20 with the direction in which the visual field information a is acquired by the omnidirectional cameras 22-1 and 22-2 and the traveling direction F of the drone 20. The driver M1 can steer the drone 20 according to the visual field information a being viewed by the HMD 30 as the visual field information a.
したがって、操縦者Ｍ１が、ドローン２０の操縦感覚を喪失することがないことから、誤操縦の可能性が低減されてドローン２０の安全な操縦が実現される。 Therefore, since the pilot M1 does not lose the sense of maneuver of the drone 20, the possibility of mis-pilot is reduced and the safe maneuver of the drone 20 is realized.
特に、本実施の形態では、ドローン２０の進行方向Ｆを、全天球カメラ２２−１、２２−２で視野情報ａを取得する方向に一致させることから、操縦者Ｍ１がＨＭＤ３０で見る方向の視野情報ａに従ってドローン２０が飛行する。したがって、操縦者Ｍ１の操縦フィーリングが向上する。 In particular, in the present embodiment, the traveling direction F of the drone 20 is made to coincide with the direction in which the visual field information a is acquired by the omnidirectional cameras 22-1 and 22-2. The drone 20 flies according to the visual field information a. Therefore, the steering feeling of the pilot M1 is improved.
しかも、本実施の形態では、ドローン２０からの映像を取得してメモリ２６に記録する４ｋカメラ２５がドローン２０に搭載されているところ、安全な操縦が実現されるドローン２０からの映像が取得されて記録されることから、映像の精度が向上することも期待し得る。 Moreover, in the present embodiment, the 4k camera 25 for acquiring the video from the drone 20 and recording it in the memory 26 is mounted on the drone 20, and the video from the drone 20 for which safe maneuvering is realized is obtained. It can also be expected that the accuracy of the image will be improved since it is recorded.
なお、本発明は上記実施の形態に限定されることはなく、発明の趣旨を逸脱しない範囲で種々変更可能である。上記実施の形態では、飛行体操縦プログラム５０がスマートフォン４０に格納された場合を説明したが、例えば、飛行体操縦プログラム５０はドローン２０に格納されていてもよい。 The present invention is not limited to the above embodiment, and various modifications can be made without departing from the scope of the invention. Although the above-mentioned embodiment explained the case where flight control program 50 was stored in smart phone 40, flight control program 50 may be stored in drone 20, for example.
１０ 飛行体操縦システム
２０ ドローン（飛行体）
２１ フライトコントローラ
２２−１、２２−２ 全天球カメラ（映像取得用カメラ）
２３ 制御モジュール
２５ ４ｋカメラ（記録用カメラ）
２６ メモリ（記録媒体）
３０ ＨＭＤ（頭部装着表示器）
３１ 表示部
３１ａ ジャイロセンサ
３１ｂ 加速度センサ
３２ 装着部
４０ スマートフォン
４１ 送受信インターフェース
５０ 飛行体操縦プログラム
５１ 映像取得手段
５２ ドローン進行方向決定手段（飛行体進行方向決定手段）
10 flight control system 20 drone (aircraft)
21 Flight controller 22-1, 22-2 All-sky camera (camera for image acquisition)
23 Control module 25 4k camera (recording camera)
26 Memory (recording medium)
30 HMD (Head mounted display)
31 Display 31a Gyro Sensor 31b Acceleration Sensor 32 Mounting Unit 40 Smartphone 41 Transmitting / Receiving Interface 50 Flight Operating Program 51 Image Acquisition Means 52 Drone Traveling Direction Determining Means (Aircraft Traveling Direction Determining Means)
Claims (4)
前記操縦者からみた全方位と前記飛行体からみた全方位とを一致させて、前記装着者の前記全方位において前記頭部装着表示器を装着した前記操縦者の前記頭部が向く方向に前記飛行体の前記全方位において前記映像取得用カメラで前記映像を取得する方向を追従させる映像取得手段と、
該映像取得手段で追従させる前記映像取得用カメラで前記映像を取得する方向と前記飛行体の進行方向とを一致させる飛行体進行方向決定手段と、
を備えることを特徴とする飛行体操縦システム。 An aircraft controlled by a pilot by a transmitter, an image acquisition camera mounted on the aircraft and acquiring an image from the aircraft, and a display on which the image acquired by the image acquisition camera is displayed Flight control comprising a head mounted display having a unit and a mounting unit for mounting the display unit on the head of the pilot, wherein the pilot can view the image displayed on the display unit In the system
The omnidirectional view from the pilot and the omnidirectional view from the flying object are made to coincide with each other in the direction in which the head of the pilot wearing the head mounted display faces in the omnidirectional of the wearer. An image acquisition unit for causing a direction in which the image acquisition camera acquires the image to follow in all directions of the flying object;
A flying object traveling direction determining unit for matching the direction in which the image is acquired by the image acquisition camera to be followed by the image acquiring unit with the traveling direction of the flying object;
An aircraft control system comprising:
前記飛行体の前記進行方向を前記映像取得用カメラで前記映像を取得する方向に一致させることを特徴とする請求項１に記載の飛行体操縦システム。 The flight vehicle traveling direction determining means
The flight control system according to claim 1, wherein the traveling direction of the flying object is made to coincide with the direction in which the video is obtained by the video acquisition camera.
映像取得手段を用いて、前記操縦者からみた全方位と前記飛行体からみた全方位とを一致させて、前記操縦者の前記全方位において前記頭部装着表示器を装着した前記操縦者の前記頭部が向く方向に前記飛行体の前記全方位において前記映像取得用カメラで前記映像を取得する方向を追従させる映像取得方向追従ステップと、
該映像取得方向追従ステップで追従させる前記映像取得用カメラで前記映像を取得する方向と前記飛行体の進行方向とを飛行体進行方向決定手段によって一致させる飛行体進行方向決定ステップと、
を備えることを特徴とする飛行体操縦システムを用いて前記飛行体を操縦する方法。 An aircraft controlled by a pilot by a transmitter, an image acquisition camera mounted on the aircraft and acquiring an image from the aircraft, and a display on which the image acquired by the image acquisition camera is displayed Flight control comprising a head mounted display having a unit and a mounting unit for mounting the display unit on the head of the pilot, wherein the pilot can view the image displayed on the display unit In a method of steering said vehicle using a system,
Using the image acquisition means, the omnidirectional view from the pilot and the omnidirectional view from the flying object are matched, and the operator of the pilot who wears the head mounted display in the omnidirectional direction of the pilot An image acquisition direction following step in which a direction in which the image acquisition camera acquires the image is followed in the omnidirectional direction of the flying object in a direction in which the head faces;
An aircraft traveling direction determination step in which a direction in which the image is acquired by the image acquisition camera to be followed in the image acquisition direction tracking step and a traveling direction of the aircraft are made to coincide by an aircraft traveling direction determination unit;
A method of steering said vehicle using a vehicle steering system comprising:
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017213312A JP7024997B2 (en) | 2017-11-03 | 2017-11-03 | Aircraft Maneuvering System and How to Maneuver an Aircraft Using an Aircraft Maneuvering System |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017213312A JP7024997B2 (en) | 2017-11-03 | 2017-11-03 | Aircraft Maneuvering System and How to Maneuver an Aircraft Using an Aircraft Maneuvering System |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2019084898A true JP2019084898A (en) | 2019-06-06 |
| JP2019084898A5 JP2019084898A5 (en) | 2021-01-28 |
| JP7024997B2 JP7024997B2 (en) | 2022-02-24 |
Family
ID=66763804
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2017213312A Active JP7024997B2 (en) | 2017-11-03 | 2017-11-03 | Aircraft Maneuvering System and How to Maneuver an Aircraft Using an Aircraft Maneuvering System |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP7024997B2 (en) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPWO2021019679A1 (en) * | 2019-07-30 | 2021-02-04 | ||
| JP2021179969A (en) * | 2019-07-25 | 2021-11-18 | 株式会社プロドローン | Remote operation system and operation device thereof |
| JP2022067744A (en) * | 2020-10-21 | 2022-05-09 | トヨタ自動車株式会社 | Robot system, control method for robot system, and program |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH11291991A (en) * | 1998-04-03 | 1999-10-26 | Shinshakai System Kenkyusho:Kk | Remote control steering system of movable body |
| JP2006024128A (en) * | 2004-07-09 | 2006-01-26 | Funai Electric Co Ltd | Self-propelled robot |
| JP2009173263A (en) * | 2008-01-23 | 2009-08-06 | Honeywell Internatl Inc | Method and system for autonomous tracking of mobile target by unmanned aerial vehicle (uav) |
| JP2015194069A (en) * | 2014-03-27 | 2015-11-05 | 株式会社フジタ | Inspection device for structure |
| JP2016119655A (en) * | 2014-11-26 | 2016-06-30 | パロット | Video system for piloting drone in immersive mode |
| JP2016161194A (en) * | 2015-02-27 | 2016-09-05 | 三菱重工業株式会社 | Missile guidance system, missile, missile guiding method and guiding control program |
| JP2017119501A (en) * | 2015-08-06 | 2017-07-06 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ | Unmanned flying object, flight control method, flight control program and controller |
| JP2017163265A (en) * | 2016-03-08 | 2017-09-14 | 株式会社リコー | Controlling support system, information processing device, and program |
| WO2017170148A1 (en) * | 2016-03-31 | 2017-10-05 | 株式会社ニコン | Flight device, electronic device and program |
-
2017
- 2017-11-03 JP JP2017213312A patent/JP7024997B2/en active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH11291991A (en) * | 1998-04-03 | 1999-10-26 | Shinshakai System Kenkyusho:Kk | Remote control steering system of movable body |
| JP2006024128A (en) * | 2004-07-09 | 2006-01-26 | Funai Electric Co Ltd | Self-propelled robot |
| JP2009173263A (en) * | 2008-01-23 | 2009-08-06 | Honeywell Internatl Inc | Method and system for autonomous tracking of mobile target by unmanned aerial vehicle (uav) |
| JP2015194069A (en) * | 2014-03-27 | 2015-11-05 | 株式会社フジタ | Inspection device for structure |
| JP2016119655A (en) * | 2014-11-26 | 2016-06-30 | パロット | Video system for piloting drone in immersive mode |
| JP2016161194A (en) * | 2015-02-27 | 2016-09-05 | 三菱重工業株式会社 | Missile guidance system, missile, missile guiding method and guiding control program |
| JP2017119501A (en) * | 2015-08-06 | 2017-07-06 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ | Unmanned flying object, flight control method, flight control program and controller |
| JP2017163265A (en) * | 2016-03-08 | 2017-09-14 | 株式会社リコー | Controlling support system, information processing device, and program |
| WO2017170148A1 (en) * | 2016-03-31 | 2017-10-05 | 株式会社ニコン | Flight device, electronic device and program |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2021179969A (en) * | 2019-07-25 | 2021-11-18 | 株式会社プロドローン | Remote operation system and operation device thereof |
| JPWO2021019679A1 (en) * | 2019-07-30 | 2021-02-04 | ||
| WO2021019679A1 (en) * | 2019-07-30 | 2021-02-04 | 株式会社エアロネクスト | Flight vehicle flying system and method for flying flight vehicle using flight vehicle flying system |
| JP2022067744A (en) * | 2020-10-21 | 2022-05-09 | トヨタ自動車株式会社 | Robot system, control method for robot system, and program |
| JP7420047B2 (en) | 2020-10-21 | 2024-01-23 | トヨタ自動車株式会社 | robot system |
Also Published As
| Publication number | Publication date |
|---|---|
| JP7024997B2 (en) | 2022-02-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11733692B2 (en) | Systems and methods for controlling an unmanned aerial vehicle | |
| US9158305B2 (en) | Remote control system | |
| TWI496605B (en) | Unmanned aerial vehicle, surveillance method and surveillance device | |
| WO2016017245A1 (en) | Information processing device, information processing method, and image display system | |
| JP2016119655A (en) | Video system for piloting drone in immersive mode | |
| US20180143636A1 (en) | Autonomous system for shooting moving images from a drone, with target tracking and holding of the target shooting angle | |
| US20100292868A1 (en) | System and method for navigating a remote control vehicle past obstacles | |
| CN104781873A (en) | Image display device and image display method, mobile body device, image display system, and computer program | |
| US11310412B2 (en) | Autofocusing camera and systems | |
| JP4012749B2 (en) | Remote control system | |
| CN107918397A (en) | The autonomous camera system of unmanned plane mobile image kept with target following and shooting angle | |
| JP7024997B2 (en) | Aircraft Maneuvering System and How to Maneuver an Aircraft Using an Aircraft Maneuvering System | |
| WO2017169841A1 (en) | Display device and display control method | |
| JP2018165066A (en) | Head mounted display and method for controlling the same | |
| WO2018150917A1 (en) | Steered object, moving device, imaging device, movement control method, movement assist method, movement control program, and movement assist program | |
| US20230097676A1 (en) | Tactical advanced robotic engagement system | |
| US20210325886A1 (en) | Photographing method and device | |
| JP2017169170A (en) | Imaging apparatus, moving apparatus, imaging system, imaging method, and program | |
| JP6744033B2 (en) | Mobile control system, control signal transmission system, mobile control method, program, and recording medium | |
| JP6831949B2 (en) | Display control system, display control device and display control method | |
| WO2021019679A1 (en) | Flight vehicle flying system and method for flying flight vehicle using flight vehicle flying system | |
| KR101896239B1 (en) | System for controlling drone using motion capture | |
| KR20170004407A (en) | system and method for automated reconnaissance | |
| JPWO2020110293A1 (en) | Display control system, display control device and display control method | |
| JP2023043575A (en) | Mobile body system |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20201104 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20201209 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20201209 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20211015 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20211028 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20211224 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220127 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220203 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7024997 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |