JP6349481B1 - 無人航空機の飛行計画経路を設定するためのシステム及びプログラム - Google Patents

無人航空機の飛行計画経路を設定するためのシステム及びプログラム Download PDF

Info

Publication number
JP6349481B1
JP6349481B1 JP2018516097A JP2018516097A JP6349481B1 JP 6349481 B1 JP6349481 B1 JP 6349481B1 JP 2018516097 A JP2018516097 A JP 2018516097A JP 2018516097 A JP2018516097 A JP 2018516097A JP 6349481 B1 JP6349481 B1 JP 6349481B1
Authority
JP
Japan
Prior art keywords
flight plan
flight
path
data
altitude
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018516097A
Other languages
English (en)
Other versions
JPWO2019077682A1 (ja
Inventor
健司 新家
健司 新家
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Autonomous Control Systems Laboratory Ltd ACSL
Original Assignee
Autonomous Control Systems Laboratory Ltd ACSL
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Autonomous Control Systems Laboratory Ltd ACSL filed Critical Autonomous Control Systems Laboratory Ltd ACSL
Application granted granted Critical
Publication of JP6349481B1 publication Critical patent/JP6349481B1/ja
Publication of JPWO2019077682A1 publication Critical patent/JPWO2019077682A1/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G5/00Traffic control systems for aircraft, e.g. air-traffic control [ATC]
    • G08G5/0004Transmission of traffic-related information to or from an aircraft
    • G08G5/0013Transmission of traffic-related information to or from an aircraft with a ground station
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64UUNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U10/00Type of UAV
    • B64U10/10Rotorcrafts
    • B64U10/13Flying platforms
    • B64U10/16Flying platforms with five or more distinct rotor axes, e.g. octocopters
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64UUNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U60/00Undercarriages
    • B64U60/50Undercarriages with landing legs
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20Instruments for performing navigational calculations
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0011Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
    • G05D1/0038Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement by providing the operator with simple or augmented images from one or more cameras located onboard the vehicle, e.g. tele-operation
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/04Control of altitude or depth
    • G05D1/06Rate of change of altitude or depth
    • G05D1/0607Rate of change of altitude or depth specially adapted for aircraft
    • G05D1/0646Rate of change of altitude or depth specially adapted for aircraft to follow the profile of undulating ground
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/10Simultaneous control of position or course in three dimensions
    • G05D1/101Simultaneous control of position or course in three dimensions specially adapted for aircraft
    • G05D1/102Simultaneous control of position or course in three dimensions specially adapted for aircraft specially adapted for vertical take-off of aircraft
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/29Geographical information databases
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G5/00Traffic control systems for aircraft, e.g. air-traffic control [ATC]
    • G08G5/0017Arrangements for implementing traffic-related aircraft activities, e.g. arrangements for generating, displaying, acquiring or managing traffic information
    • G08G5/0026Arrangements for implementing traffic-related aircraft activities, e.g. arrangements for generating, displaying, acquiring or managing traffic information located on the ground
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G5/00Traffic control systems for aircraft, e.g. air-traffic control [ATC]
    • G08G5/003Flight plan management
    • G08G5/0034Assembly of a flight plan
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G5/00Traffic control systems for aircraft, e.g. air-traffic control [ATC]
    • G08G5/003Flight plan management
    • G08G5/0039Modification of a flight plan
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G5/00Traffic control systems for aircraft, e.g. air-traffic control [ATC]
    • G08G5/0047Navigation or guidance aids for a single aircraft
    • G08G5/0069Navigation or guidance aids for a single aircraft specially adapted for an unmanned aircraft
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G5/00Traffic control systems for aircraft, e.g. air-traffic control [ATC]
    • G08G5/0073Surveillance aids
    • G08G5/0086Surveillance aids for monitoring terrain
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G5/00Traffic control systems for aircraft, e.g. air-traffic control [ATC]
    • G08G5/04Anti-collision systems
    • G08G5/045Navigation or guidance aids, e.g. determination of anti-collision manoeuvers
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64UUNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00UAVs specially adapted for particular uses or applications
    • B64U2101/30UAVs specially adapted for particular uses or applications for imaging, photography or videography

Landscapes

  • Engineering & Computer Science (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Automation & Control Theory (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Mechanical Engineering (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Navigation (AREA)
  • Traffic Control Systems (AREA)

Abstract

入力された無人航空機の飛行予定経路に基づき三次元の飛行計画経路を設定する。本発明の無人航空機の三次元の飛行計画経路を設定するためのシステムは、無人航空機の水平面の飛行予定経路を表わすデータを入力し、飛行計画経路上の複数の位置のそれぞれの下にある表面の標高を表す高さ基準値を取得し、その位置に対応する飛行高度を高さ基準値に加算した値を飛行計画経路の高度のデータとして定めることを特徴とする。

Description

本発明は、無人航空機の飛行計画経路を設定するためのシステムに関し、より詳細には、入力された無人航空機の飛行予定経路に基づき三次元の飛行計画経路を設定するためのシステムに関する。
無人航空機を飛行させる場合に、その三次元の飛行計画経路を飛行前に設定して飛行計画を立てることが行われている。その設定のためには、その三次元の飛行計画経路を定める複数の位置であるウェイポイントを入力することが行われていた。この場合、一般的には、地図上で位置を特定することによりウェイポイントの水平面の位置であるX,Y座標を入力し、数値を入力させることによってそのウェイポイントの高度であるZ座標を入力する。
ウェイポイントのZ座標は、そのウェイポイントの真下の地表面からの相対距離、すなわち対地高度で指定することが普通である。これは、ドローンのような無人航空機の制限高度が対地高度で定められることと付合している。ウェイポイントの対地高度をそれぞれのウェイポイントに対して入力することは、ウェイポイントの数が多い場合には手間のかかる作業となり得る。
地表面には、高層ビルなどの無人航空機の飛行の障害となり得る建造物が存在していることがある。そのような建造物の存在するところを飛行する際には、無人航空機を上昇させて衝突を避けたり、左右に迂回させる必要がある。無人航空機を適切に上昇させるためには、適切にウェイポイントを三次元で設定し、その対地高度を適切に設定する必要がある。またその際には、対地高度が制限高度を超えないように注意する必要もある。また、無人航空機を適切に左右に迂回させる際には、適切にウェイポイントを設定する必要がある。そのような場合には、三次元の飛行計画経路と地表面や建造物との位置関係が分かりやすく表示されると都合がいい。
しかしながら、無人航空機の三次元の飛行計画経路を設定する際に、高度を入力する必要が無く、それを自動的に設定するシステムは存在していない。また、三次元の飛行計画経路の近くに建造物が存在する場合に、三次元の飛行計画経路の設定の際にそのような建造物を分かりやすく表示するようなシステムも存在しない。また、三次元の飛行計画経路の近くに建造物が存在する場合に、三次元の飛行計画経路の設定の際にそのような建造物を回避した三次元の飛行計画経路を自動的に設定するシステムも存在しなかった。
本発明は上述の課題に鑑みてなされたものであり、以下のような特徴を有するものである。すなわち、本発明は、無人航空機の三次元の飛行計画経路を設定するためのシステムにおいて、無人航空機の水平面の飛行予定経路を表わすデータを入力し、飛行計画経路上の複数の位置のそれぞれの下にある表面の標高を表す高さ基準値を取得し、その位置に対応する飛行高度を高さ基準値に加算した値を飛行計画経路の高度のデータとして定めることを特徴とする。
本発明は、飛行計画経路上の水平面内の前記複数の位置のそれぞれの下にある地面の標高を高さ基準値として地理データベースから読み出す構成を有していてもよい。本発明は、飛行計画経路上の水平面内の複数の位置のそれぞれの下にある建物内の床面の高度を高さ基準値としてデータベースから読み出す構成を有していてもよい。本発明は、地面上のいずれかの存在物において、飛行計画経路からの距離が所定の安全距離以内となるような近接箇所を特定する構成を有していてもよい。本発明は、特定された近接箇所に対応する飛行計画経路上の位置から特定された近接箇所までの距離及び方位を出力する構成を有していてもよい。本発明は、近接箇所が特定された場合に警告を発する構成を有していてもよい。
本発明は、近接箇所を回避するように飛行計画経路を修正する構成を有していてもよい。本発明は、飛行計画経路と近接箇所の間の距離が安全距離以上になるように飛行計画経路を自動的に修正する構成を有していてもよい。本発明は、近接箇所を水平面で迂回するように飛行計画経路を修正する構成を有していてもよい。本発明は、近接箇所をその上方で回避するように飛行計画経路を修正する構成を有していてもよい。本発明は、飛行計画経路が所定の制限高度を超えないように近接箇所を水平面で迂回するように飛行計画経路を修正する構成を有していてもよい。
本発明は、飛行計画経路の下にある建造物の対地高度を建造物形状データベースから読み出し、建造物において、建造物の上にある飛行計画経路の部分の対地高度から建造物の前記対地高度を減じた高度差が所定の安全距離以内となるところを近接箇所として特定する構成を有していてもよい。本発明は、飛行計画経路の下にある建造物の対地高度を建造物形状データベースから読み出す際に、飛行計画経路を所定の幅で拡幅して、飛行計画経路の下にある建造物の対地高度を建造物形状データベースから読み出す構成を有していてもよい。
本発明は、飛行計画経路を三次元で画面に表示させる構成を有していてもよい。本発明は、近接箇所をさらに重ね合わせて表示させる構成を有していてもよい。本発明は、無人航空機で撮影された飛行中の外部の映像のデータを取得し、無人航空機の実際の飛行経路のデータを取得し、外部の映像のデータを、それが無人航空機によって撮影された位置を示しながら再生する構成を有していてもよい。
本発明は、上述の特徴を有するシステムでもよく、そのシステムに実行される方法でもよく、コンピュータに実行されたときに当該システムを実現するコンピュータプログラムでもよく、そのようなコンピュータプログラムを記録した記憶媒体(CD−ROM、DVDなど)やプログラム製品でもよい。
本発明は、無人航空機の水平面の飛行予定経路を表わすデータを入力し、飛行計画経路上の複数の位置のそれぞれの下にある表面の標高を表す高さ基準値を取得し、その位置に対応する飛行高度を高さ基準値に加算した値を飛行計画経路の高度のデータとして定めるため、ウェイポイントの水平面の位置を入力するだけで、三次元の飛行計画経路を決定することができるという効果を有している。
本発明は、飛行計画経路上の水平面内の前記複数の位置のそれぞれの下にある地面の標高を高さ基準値として地理データベースから読み出す構成を有する場合、飛行計画経路上の地面の標高を入力する必要なく、三次元の飛行計画経路を決定することができる、という効果を有する。本発明は、飛行計画経路上の水平面内の複数の位置のそれぞれの下にある建物内の床面の高度を高さ基準値としてデータベースから読み出す構成を有する場合、建物内部の部屋の中に飛行計画経路を設定することができる、という効果を有する。本発明は、地面上のいずれかの存在物において、飛行計画経路からの距離が所定の安全距離以内となるような近接箇所を特定する構成を有する場合、飛行計画経路上を飛行する場合に衝突の危険性がある近接位置を特定することができる、という効果を有する。本発明は、特定された近接箇所に対応する飛行計画経路上の位置から特定された近接箇所までの距離及び方位を出力する構成を有している場合、飛行計画経路と近接箇所の位置関係をユーザに適切に伝達することができる、という効果を有する。本発明は、近接箇所が特定された場合に警告を発する構成を有する場合、ユーザに衝突の危険性のある近接箇所が存在することを確実に伝達することができる、という効果を有する。
本発明は、近接箇所を回避するように飛行計画経路を修正する構成を有している場合、無人航空機が建造物などの障害物に衝突する可能性を簡単かつ確実に減少させることができる、という効果を有する。本発明は、飛行計画経路と近接箇所の間の距離が安全距離以上になるように飛行計画経路を自動的に修正する構成を有している場合、無人航空機が建造物などの障害物と安全距離以上の距離となるように飛行計画経路を自動的に設定することができる、という効果を有する。本発明は、近接箇所を水平面で迂回するように飛行計画経路を修正する構成を有している場合、飛行高度を変えずに飛行計画経路を修正することができるという効果を有する。本発明は、近接箇所をその上方で回避するように飛行計画経路を修正する構成を有している場合、水平面の飛行計画経路を変えずに飛行計画経路を修正することができる、という効果を有する。本発明は、飛行計画経路が所定の制限高度を超えないように近接箇所を水平面で迂回するように飛行計画経路を修正する構成を有している場合、制限高度を確実に超えないようにしつつ、なるべく水平面の飛行計画経路を変えずに飛行計画経路を修正することができる、という効果を有する。
本発明は、飛行計画経路の下にある建造物の対地高度を建造物形状データベースから読み出し、建造物において、建造物の上にある飛行計画経路の部分の対地高度から建造物の前記対地高度を減じた高度差が所定の安全距離以内となるところを近接箇所として特定する構成を有している場合、高度の比較により簡便に近接箇所を特定することができる、という効果を有する。本発明は、飛行計画経路の下にある建造物の対地高度を建造物形状データベースから読み出す際に、飛行計画経路を所定の幅で拡幅して、飛行計画経路の下にある建造物の対地高度を建造物形状データベースから読み出す構成を有している場合、飛行計画経路の直下にはない建造物における近接箇所を適切に特定することができる、という効果を有する。
本発明は、飛行計画経路を三次元で画面に表示させる構成を有している場合、飛行計画経路をユーザに分かりやすく表示できる、という効果を有する。本発明は、近接箇所をさらに重ね合わせて表示させる構成を有している場合、ユーザに近接箇所を分かりやすく表示できる、という効果を有する。本発明は、無人航空機で撮影された飛行中の外部の映像のデータを取得し、無人航空機の実際の飛行経路のデータを取得し、外部の映像のデータを、それが無人航空機によって撮影された位置を示しながら再生する構成を有する場合、撮影した映像を、飛行中にリアルタイムで、あるいは飛行終了後に、それの撮影位置と対応付けてユーザに提供することができる、という効果を有する。
飛行計画経路設定システムと、それと協働するデータベースサーバと、無人航空機との間の関連を示す図である。 飛行計画経路が設定される無人航空機の一例であるマルチコプタの外観図である。 無人航空機の機能構成を示すブロック図である。 本発明の一実施形態である飛行計画経路設定システムの機能構成を示すブロック図である。 飛行計画経路設定システムに含まれる情報処理部の機能的な構成を示す機能ブロック図である。 データベースサーバの構成を示すブロック図である。 飛行計画経路設定システムにおける、飛行計画経路を設定する際の動作フロー図である。 飛行計画経路設定システムにおける、飛行計画経路を設定する際の動作フロー図である。 飛行計画経路設定システムにおける、近接箇所を特定する際のより具体的な動作フロー図である。 飛行計画経路設定システムにおける、飛行計画経路を修正する際のより具体的な動作フロー図である。 飛行計画経路設定システムにおける、飛行計画経路を三次元表示する際の動作フロー図である。 飛行計画経路設定システムにおける、無人航空機が飛行する際の動作フロー図である。 飛行計画経路設定システムにおける、無人航空機の実際の飛行経路を確認する際の動作フロー図である。 飛行計画ソフトウェアPF−Stationのメイン画面のイメージ図である。 飛行計画経路設定画面の初期画面のイメージ図である。 飛行計画経路設定画面のウェイポイント追加時の画面のイメージ図である。 飛行領域及び飛行計画経路を三次元表示した画面のイメージ図である。 飛行領域、建造物及び飛行計画経路を三次元表示した画面のイメージ図である。 撮影位置を示しながら映像データを再生する画面のイメージ図である。
以下、本発明の一実施形態である無人航空機の三次元の飛行計画経路を設定するための飛行計画経路設定システム100を、図面を参照しつつ説明する。ただし本発明は以下に説明する具体的態様に限定されるわけではなく、本発明の技術思想の範囲内で種々の態様を取り得る。例えば、本発明が適用される無人航空機は、図1に示すマルチコプタに限らず、回転翼機、固定翼機等、任意の無人航空機であってよいし、また自律飛行型の無人航空機である必要もない。飛行計画経路設定システムのシステム構成も、図に示されるものに限らず同様の動作が可能であれば任意の構成を取ることができる。例えば通信回路の機能を制御部に統合する等、複数の構成要素が実行する動作を単独の構成要素により実行してもよいし、あるいは主演算部の機能を複数の演算部に分散する等、単独の構成要素が実行する動作を複数の構成要素により実行してもよい。飛行計画経路設定システムと協働するサーバの機能の一部あるいは全部を飛行計画経路設定システムが含んでいてもいいし、また、飛行計画経路設定システムの機能の一部を当該サーバが有していてもいい。また、当該サーバに含まれる各種データベースは、当該サーバ内とは別の場所に配置されていてもよいし、飛行計画経路設定システム100がそのデータベースに記憶された情報の全部あるいは一部を記憶していてもよい。各種データベースに記録される情報も、1種類の情報を複数の種類に分散して記憶してもよいし、複数の種類の情報を1種類にまとめて記憶してもよい。
用語の説明
「高さ」とは垂直方向の長さである。「標高」とは、平均海面からの高さである。「高度」はある測定点の高さを意味し、特記がない場合は海面からの高さ(海抜)で表わされることが多い。「対地高度」は、地表面からの高さである。「飛行高度」は、飛行する高さであるが、対地高度で表される。「制限高度」は、飛行が制限される高さであるが、対地高度で表される。
システム全体の構成
図1は、本発明に係る飛行計画経路設定システム100と、それと協働するデータベースサーバ150と、無人航空機200との間の関連を示す図である。飛行計画経路設定システム100と無人航空機200とは、典型的には、無線通信で接続されており、飛行計画経路設定システム100とデータベースサーバ150とはネットワークで接続される。飛行計画経路設定システム100はデータベースサーバ150と協働して無人航空機200のための飛行計画経路を設定する。
図2に、本発明に従って飛行計画経路が設定される無人航空機の一例であるマルチコプタの外観図を示す。無人航空機(マルチコプタ)200は、外観に関しては、制御ユニット201と、制御ユニット201からの制御信号により駆動される6つのモータ202と、各々のモータ202の駆動により回転して揚力を発生させる6つのロータ(回転翼)203と、制御ユニット201と各々のモータ202とを接続する6つのアーム204と、着陸時に無人航空機を支える着陸脚205とを備える。モータ202、ロータ203、及びアーム204の数は、それぞれ、4、5などのような4以上の任意の数とすることもできる。制御ユニット201からの制御信号により6つのモータ202が回転させられ、それにより6つのロータ203各々の回転数を制御することにより、上昇、下降、前後左右への飛行、旋回等、無人航空機200の飛行が制御される。また、無人航空機200は、好適には、その本体下部などの適切な場所にビデオカメラ206が取り付けられている。
無人航空機の構成
図3は、本発明の飛行計画経路設定システム100と組み合わせて使用される無人航空機200の構成を示すブロック図である。無人航空機200は、機能の観点からは、大きく、制御ユニット201、制御ユニット201に電気的に接続されたモータ202、モータ202に機械的に接続されたロータ203、ビデオカメラ206、センサ207、アンテナ209から構成される。制御ユニット201は、無人航空機200の飛行のための情報処理や電気信号の制御を行うための構成であり、典型的には基板上に各種の電子部品を配置し、配線することによって所定の回路を構成したユニットである。制御ユニット201は、さらに、情報処理ユニット210、通信回路211、制御信号生成部212、スピードコントローラ213から構成される。
ビデオカメラ206は、無人航空機200の下部、側部、上部などの適切な位置に取り付けられた映像を撮影するためのカメラである。センサ207は、GPS(Global Positioning System)センサ、姿勢センサ、高度センサ、方位センサ、距離センサ(超音波式、レーダー式など)等の無人航空機200の飛行を補助するための各種センサを含む。GPSセンサは無人航空機200の位置情報を取得するためのセンサであり、無人航空機200の飛行時の位置を制御するために使用される。姿勢センサは無人航空機200の傾きなどを検出するためのセンサであり、無人航空機200の飛行時の姿勢を制御するために使用される。高度センサは気圧などにより無人航空機200の高度を検出するセンサであり、無人航空機200の飛行時の高度を制御するために使用される。距離センサは無人航空機200の周りの物体との距離を測定するセンサであり、障害物との衝突を防止するための制御に使用される。
情報処理ユニット210は、プロセッサ、一時メモリ等から構成されて各種の演算やフロー制御を行う主演算回路210cと、記憶部(図示せず)とを含み、記憶部には、飛行制御プログラム210p、飛行計画経路データ210d1、飛行記録データ210d2、映像データ210d3が記憶される。記憶部は、具体的には、フラッシュメモリやバックアップRAMメモリなどの不揮発性メモリとすると好適である。
通信回路211は、主演算回路210cから出力される無人航空機200のための操縦信号、制御信号や各種データなどを無線通信のための高周波信号に変換して搬送させたり、無人航空機200から送信されるテレメトリ信号などを搬送する高周波信号を復調して搬送されている信号を取り出すための電子回路であり、典型的には無線信号処理ICである。なお、例えば、操縦信号の通信と、制御信号、各種データの通信とを別の周波数帯の異なる通信回路で実行するようにしてもよい。例えば、手動での操縦を行うためのコントローラ(プロポ)の送信器と無人航空機200とが950MHz帯の周波数で操縦信号を通信し、飛行計画経路設定システム100と無人航空機200とが2GHz帯/1.7GHz帯/1.5GHz帯/800MHz帯の周波数でデータ通信するような構成を採ることが可能である。
制御信号生成部212は、主演算回路210cによって演算により得られた制御指令値データを、電圧を表わすパルス信号(PWM信号など)に変換する構成であり、典型的には、発振回路とスイッチング回路を含むICである。スピードコントローラ213は、制御信号生成部212からのパルス信号を、モータ202を駆動する駆動電圧に変換する構成であり、典型的には、平滑回路とアナログ増幅器である。図示していないが、無人航空機200は、リチウムポリマーバッテリやリチウムイオンバッテリ等のバッテリデバイスや各要素への配電系を含む電源系を備えている。
飛行制御プログラム210pは、操作者からの操縦信号(非自律飛行時)や飛行計画経路に従った自律飛行プログラム(自律飛行時)などに基づいて無人航空機200の飛行を適切に制御するためのプログラムである。飛行制御プログラム210pは、具体的には、センサ207の各種センサから得られる情報により無人航空機200の現在位置、速度等を判断し、飛行計画経路、速度制限、高度制限等の目標値と比較することにより主演算回路210cで各ロータ203に対する制御指令値を演算し、制御指令値を示すデータを制御信号生成部212に送る。制御信号生成部212は、その制御指令値を示すデータを電圧を表わすパルス信号に変換して各スピードコントローラ213に送信し、各スピードコントローラ213がそれを駆動電圧へと変換して各モータ202に印加し、各モータ202の駆動を制御して各ロータ203の回転速度を制御することにより無人航空機200の飛行が制御される。無人航空機200が実際に飛行した飛行経路(各時刻における無人航空機200の機***置等)や各種センサデータ等の飛行記録情報は、飛行中に随時、飛行記録データ210d2として記録される。
飛行計画経路データ210d1は、無人航空機200の三次元(緯度、経度、高度)の飛行計画経路を表すデータであり、典型的には、飛行計画経路上に存在する一連の複数のウェイポイントの集合のデータである。飛行計画経路は、典型的には、それらの複数のウェイポイントを順番に結んだ直線であるが、ウェイポイントの所定範囲内においては所定の曲率の曲線とすることもできる。飛行計画経路データ210d1は、複数のウェイポイントにおける飛行速度を定めるデータを含んでいてもよい。飛行計画経路データ210d1は、典型的には自律飛行において飛行経路を定めるために使用されるが、非自律飛行において飛行時のガイド用として使用することもできる。飛行計画経路データ210d1は、典型的には、飛行前に無人航空機200が飛行計画経路設定システム100から受信して記憶する。飛行記録データ210d2は、無人航空機200が実際に飛行した経路や飛行状態などのテレメトリ情報を表わすデータである。飛行記録データ210d2は、典型的には、無人航空機200の飛行中に記憶部に記憶される。なお、テレメトリ情報を表わすデータは、無人航空機200の飛行中に飛行計画経路設定システム100にリアルタイムで無線送信されるように構成すると好適である。映像データ210d3は、無人航空機200の飛行中にビデオカメラ206によって撮影された映像を表わすデータであり、典型的には、無人航空機200の飛行中に記憶部に記憶される。なお、撮影された映像データを、無人航空機200内に映像データ210d3に記憶させることなく、飛行計画経路設定システム100にリアルタイムで無線送信することも可能である。
飛行計画経路設定システムの構成
図4は、飛行計画経路設定システム100の構成を示すブロック図である。飛行計画経路設定システム100は、典型的には、ノートPCなどのコンピュータプラットフォームに、飛行計画経路設定のためのソフトウェア及び地理情報三次元表示のためのソフトウェアをインストールした形態である。飛行計画経路設定システム100は、機能の観点から、大きく、情報処理部110、ネットワークインターフェイス(IF)111、外部インターフェイス(IF)112から構成される。情報処理部110は、プロセッサ、一時メモリ等から構成されて各種の演算やフロー制御を行う主演算回路110cと、記憶部(図示せず)とを含み、記憶部には、飛行計画経路設定プログラム110p1、飛行レビュープログラム110p2、地理情報三次元表示プログラム110p3、飛行計画経路データ110d1、飛行記録データ110d2、映像データ110d3を記憶する領域が確保されている。記憶部は、具体的には、ハードディスクなどの高速・大容量の記憶装置とすると好適である。ネットワークIF111は、ネットワークを経由してネットワーク上のサーバ等に接続するためのIFである。外部インターフェイスIF112は、外部機器と接続するためのものである。外部インターフェイスIF112は、複数の接続ポートを有しており、典型的には、無人航空機200との間のデータの無線通信を行う通信ユニット(図示せず)、ディスプレイ、キーボード、マウスなどのユーザインターフェイス機器などと接続する。
飛行計画経路設定プログラム110p1は、主演算回路110cによって実行されることにより、ユーザからの入力に基づいて無人航空機200の飛行計画経路を設定し、飛行計画経路データ110d1として保存する機能を提供する。飛行レビュープログラム110p2は、主演算回路110cによって実行されることにより、飛行記録データ110d2、映像データ110d3に基づき、無人航空機200の実飛行の飛行経路を表示させたり、無人航空機200で飛行中に記録された映像を表示させたりする。飛行計画経路データ110d1は、無人航空機200に飛行計画経路データ210d2として記憶されることになる飛行計画経路を表わすデータであり、飛行計画経路設定システム100において作成される。飛行記録データ110d2は無人航空機200内の飛行記録データ210d2が転送されてきたものである。映像データ110d3は無人航空機200内の映像データ210d3が転送されてきたものである。
地理情報三次元表示プログラム110p3は、主演算回路110cによって実行されることにより、地理データベース161から地形などを現わす地理データを、建造物形状データベース162から無人航空機200の飛行に障害となり得る地表上にある建造物などの形状データを、データベースサーバ150を介して読み出し、地表に建造物を配置した画像に、飛行計画経路データ110d1で定められる飛行計画経路を重ね合わせたものを描画し、それをディスプレイに表示させる。地理情報三次元表示プログラム110p3としては、Google Earth(登録商標)などのGIS(地理情報システム)を実現するプログラムなどを使用することができる。
図5は、飛行計画経路設定システム100に含まれる情報処理部110の機能的な構成を示す機能ブロック図である。図5には、飛行計画経路設定システム100の制御部においてソフトウェアで実施される機能モジュールの構成が示されている。情報処理部110は、機能の観点からは、水平面位置データ入力モジュール110m1、高さ基準値入力モジュール110m2、飛行計画経路高度決定モジュール110m3、近接箇所特定モジュール110m4、飛行計画経路修正モジュール110m5、地理情報三次元表示モジュール110m6、映像データ再生モジュール110m7、飛行計画経路データ110d1、飛行記録データ110d2、映像データ110d3から構成される。水平面位置データ入力モジュール110m1、高さ基準値入力モジュール110m2、飛行計画経路高度決定モジュール110m3、近接箇所特定モジュール110m4、飛行計画経路修正モジュール110m5は、飛行計画経路設定プログラム110p1が主演算回路110cによって、必要に応じ飛行計画経路データ110d1を参照しながら実行されることによって機能するモジュールである。地理情報三次元表示モジュール110m6は、地理情報三次元表示プログラム110p3が、主演算回路110cによって、必要に応じ飛行計画経路データ110d1、及び、データベースサーバ150を介して地理データベース161及び建造物形状データベース162を参照しながら実行されることによって機能するモジュールである。映像データ再生モジュール110m7は、飛行レビュープログラム110p2が、必要に応じ飛行記録データ110d2、映像データ110d3を参照しながら主演算回路110cによって実行されることによって機能するモジュールである。それぞれのモジュールの機能は、動作説明において説明する。
データベースサーバの構成
図6は、データベースサーバ150の構成を示すブロック図である。データベースサーバ150は、機能の観点からは、大きく、情報処理部160、地理データベース161、建造物形状データベース162、ネットワークインターフェイス(IF)163から構成される。情報処理部160は、プロセッサ、一時メモリ等から構成されて各種の演算やフロー制御を行う主演算回路160cと、記憶部(図示せず)とを含み、記憶部には、データ提供プログラム160pが記憶されている。記憶部は、具体的には、ハードディスクを使用することができる。地理データベース161は、写真地図や地形などを現わす地理データを管理するデータベースであり、建造物形状データベース162は、地表上にある建造物などの形状データを管理するデータベースである。形状データは、建造物の外形を定めるデータに限らず、建造物の内部の部屋の空間の形状を定めるデータであってもよい。また形状データは、建造物の形状に限らず、地面上の各種の存在物の形状を表わすものであってもよい。
データ提供プログラム160pが主演算回路160cによって実行されることにより、ネットワークを介した飛行計画経路設定システム100からのデータ要求に応じ、地理データベース161から地形などを現わす地理データを、建造物形状データベース162から、無人航空機200の飛行に障害となり得る地表上にある建造物などの形状データを読み出し、それらをネットワークを介して飛行計画経路設定システム100に提供する。
飛行計画経路設定システムの動作−飛行計画経路の設定
これから、飛行計画経路設定システム100の動作を、図面を参照して説明する。図7は飛行計画経路設定システム100の、飛行計画経路を設定する際の動作フロー図である。飛行計画経路設定システム100の具体例として、飛行計画ソフトウェアであるPF−Station(登録商標)、及び地理情報システムのGoogle Earth(登録商標)がインストールされたPC端末を使用する。図14は、飛行計画ソフトウェアPF−Stationのメイン画面のイメージ図である。PF−Stationは、大きく「ルートプラン」、「ルートレビュー」、「フライトモニター」、「フライトレビュー」の4つに分類される機能を有しており、それぞれ、図14に示されるルートプランボタン301、ルートレビューボタン302、フライトモニターボタン303、フライトレビューボタン304を選択することにより、それらの機能を提供する画面にアクセスできる。
飛行計画経路を設定するためには、ルートプランボタン301を選択し、飛行計画経路設定画面(ルートプラン作成画面)を表示させる。図15は、飛行計画ソフトウェアPF−Stationの飛行計画経路設定画面の初期画面のイメージ図である。飛行計画経路設定画面には、所定の範囲の写真地図が表示されると共に、各種操作のためのボタンが表示される。写真地図上の各点にはX,Y座標(緯度及び経度、基準位置からの変位など)が対応付けられており、その写真地図上の点を選択することにより、その点に対応するX,Y座標を選択することが出来る。
飛行計画経路を設定するためには複数のウェイポイントを入力する。図16は、飛行計画経路設定画面のウェイポイント追加時の画面のイメージ図である。ユーザが、写真地図上でウェイポイントを作成しようとする位置を例えばダブルクリックなどで選択すると、水平面位置データ入力モジュール110m1が、それに対応する場所のX,Y座標を特定して、その位置をウェイポイントのX,Y座標として設定する。このように、水平面位置データ入力モジュール110m1が、無人航空機の水平面の飛行予定経路を表わすウェイポイントのデータを飛行計画経路の水平面のデータとして飛行計画経路設定システム100に入力する(ステップS101)。すなわち、水平面位置データ入力モジュール110m1は、無人航空機の水平面の飛行予定経路を表わすデータを飛行計画経路の水平面のデータとして入力する。図16の例では、画面中央のやや左に示される、丸で囲まれた箇所にウェイポイント310が設定されている。ウェイポイント310の詳細な情報は、画面の中央右側のプロパティ画面311に表示されており、ウェイポイントのX,Y座標(Mission Coordinate)は、基準位置からの変位として、それぞれ、31.998、−58.796と表示されている。
なお、それぞれのウェイポイントにおいては、飛行速度が定められていてもよい。その飛行速度は、所定の飛行速度があらかじめプリセットされていてもよく、また、ユーザから飛行速度の入力を受け付けてもよい。図16の例では、画面の中央右側のプロパティ画面に、飛行速度(Speed)として2m/sが表示されている。
次に、高さ基準値入力モジュール110m2は、そのウェイポイントの下にある表面の標高を表す高さ基準値をデータベースサーバ150に問い合わせ、それを取得する(ステップS102)。すなわち、高さ基準値入力モジュール110m2は、飛行計画経路上の複数の位置のそれぞれの下にある表面の標高を表す高さ基準値を取得する。なお、飛行計画経路設定システム100内に表面の標高を表す高さ基準値が記憶されていてもよい。ウェイポイントの下にある表面とは、地面や床面などの、無人航空機200がそれより下に行くことができない障壁である。データベースサーバ150は、そのような問合わせを受けると、データ提供プログラム160pが主演算回路160cで実行され、地理データベース161からそのウェイポイントの下の地面の標高を取得して、それを高さ基準値として高さ基準値入力モジュール110m2に送信して取得させる。すなわち、高さ基準値入力モジュール110m2は、飛行計画経路上の水平面内の複数の位置のそれぞれの下にある地面の標高を高さ基準値として地理データベース161から読み出して取得する。その際、高さ基準値入力モジュール110m2は、そのウェイポイントの下に建造物があるかどうかを建造物形状データベース162からの建造物の位置や高さのデータに基づいて判断し、建造物が存在する場合は、地面の標高にそのウェイポイントの下の部分の建造物の高さ(地面からの高さ)を加算して建造物の標高を計算し、それを高さ基準値とすることも可能である。無人航空機200の飛行高度の基準として地面のみを使用する場合は、地面の標高に建造物の高さを加算する必要はない。この場合、無人航空機200が建造物と干渉する可能性があるが、無人航空機200が制限高度を超えないように制御することは容易である。無人航空機200の飛行高度の基準として地面と建造物の両方を使用する場合は、地面の標高に建造物の高さを加算する。この場合、無人航空機200が制限高度を超える可能性はあるが、無人航空機200が建造物と干渉しないように制御することは容易である。また、建物内部の部屋などの空間を無人航空機200の飛行する空間として指定することもでき、この場合、建造物形状データベース162が当該空間の床面の高さのデータを有していれば、地面の標高にそのウェイポイントの下の部分の床面の高さが加算されて床面の標高が計算され、それが高さ基準値とされる。すなわち、高さ基準値入力モジュール110m2は、飛行計画経路上の水平面内の複数の位置のそれぞれの下にある建物内の床面の高度を高さ基準値として建造物形状データベース162から読み出して取得する。このように、高さ基準値は、そのウェイポイントの下に建造物がない場合は地面の標高であり、そのウェイポイントの下に建造物が存在する場合は、地面の標高、あるいはその建造物の高さを地面の標高に加えた建造物の標高であり、そのウェイポイントが建物内部の部屋にある場合は、その床面の地面からの高さを地面の標高に加えた床面の標高である。
次に飛行計画経路高度決定モジュール110m3が、そのウェイポイントに対応する飛行高度を高さ基準値に加算したものを、ウェイポイントのZ座標として決定する(ステップS103)。すなわち、飛行計画経路高度決定モジュール110m3は、飛行計画経路上の複数の位置に対応する飛行高度を高さ基準値に加算した値を飛行計画経路の高度のデータとして定める。これで、飛行計画経路は、X,Y座標に加えて、Z座標が決定されることになり、三次元のデータとして完成する。完成した飛行計画経路のデータは、飛行計画経路データ110d1として格納される。図16の例では、ウェイポイントの地表面からの高さである飛行高度(Height)は10mである。飛行高度は、入力されるすべてのウェイポイントに対して、例えば10mのように一定であってもよく、また、所定のルールによりウェイポイント毎に異なる値となるようにしてもよい。所定のルールとしては、ウェイポイントの標高が一定となるようにすることや、飛行高度を一定とするが所定の標高を超えないように飛行高度を減少させること、などを使用することができる。
ここまでのステップで、三次元の飛行計画経路が設定されるが、特に飛行高度の基準として地面のみを使用する場合、飛行計画経路が障害物と干渉しないように、以下のような追加的なステップを実行すると好適である。図8は、飛行計画経路設定システムの、飛行計画経路を修正する際の動作フロー図である。近接箇所特定モジュール110m4が、地面上のいずれかの存在物において、飛行計画経路からの距離が所定の安全距離以内となるような近接箇所を特定する(ステップS104)。存在物とは、典型的には建造物である。近接箇所の特定のための計算は種々の方法によって行うことができる。例えば、飛行計画経路を構成する線分(2つのウェイポイントの間)のそれぞれと、存在物の構造のモデルを構成する線分のそれぞれとの間の距離を求める。そして、近接箇所特定モジュール110m4は、その距離が安全距離以下となるような存在物上の場所を近接箇所として特定する。近接箇所は、その存在物の外形を表わす線分単位で特定してもよいし、建造物などの存在物単位で特定してもよい。また、好適には、近接箇所に対応する飛行計画経路の部分も特定される。安全距離とは、無人航空機200が他の物体と接触する可能性を小さくするための離間距離であり、例えば10mなどと設定される。安全距離は、無人航空機200の飛行速度に応じて変化するものとしてもよい。例えば、飛行速度が高い区間は大きい安全距離とし、飛行速度が小さい区間は小さい安全距離となるようにすることができる。また安全距離は、上下方向と水平方向で異なる距離となるようにすることもできる。
好適には、近接箇所特定モジュール110m4は、さらに、特定された近接箇所に対応する前記飛行計画経路上の位置からその特定された近接箇所までの距離及び方位などの相対位置を出力する(ステップS105)。出力された距離及び方位などの位置データは飛行計画経路及び近接箇所と関連付けて記憶される。その距離及び方位は、飛行計画経路の設定時や飛行記録のレビュー時に表示させるように構成することができる。また好適には、前記近接箇所特定モジュール110m4は、近接箇所特定モジュール110m4で近接箇所が特定された場合に警告を発する(ステップS106)。警告は、種々の方法で行うように構成することができる。例えば、近接箇所に対応する飛行計画経路の範囲を赤色で表示することができる。また、近接箇所を他と区別できる形態(例えば、赤色)で飛行計画経路と重ね合わせて三次元表示させることもできる。
飛行計画経路修正モジュール110m5は、近接箇所特定モジュール110m4で近接箇所が特定された場合に、近接箇所を回避するように飛行計画経路を修正する(ステップS107)。修正は種々の方法で行うことが出来る。例えば、飛行計画経路修正モジュール110m5は、近接箇所特定モジュール110m4で近接箇所が特定された場合に、その近接箇所に最も近いウェイポイントを、近接箇所から遠ざかる方向に水平面、垂直面、又は傾斜面において移動させて、飛行計画経路と近接箇所との間の距離が安全距離以上となるようにすることなどによって、飛行計画経路を自動的に修正するように構成することができる。
近接箇所の特定ステップ(ステップS104)は、具体的には以下のようなステップで実行することができる。図9は、飛行計画経路設定システム100の、近接箇所を特定する際のより具体的な動作フロー図である。近接箇所特定モジュール110m4が、飛行計画経路の下にある存在物である建造物の最上部の対地高度を建造物形状データベース162から読み出す(ステップS104a)。近接箇所特定モジュール110m4が、建造物において、建造物の上にある飛行計画経路の部分の対地高度から建造物の対地高度を減じた高度差が所定の安全距離以内となるところを近接箇所として特定する(ステップS104b)。これによって、高度の比較により、簡便に近接箇所を特定することができる。
前記近接箇所特定モジュール110m4は、飛行計画経路の下にある建造物の対地高度を建造物形状データベース162から読み出すステップ(ステップS104a)において、飛行計画経路を所定の幅で拡幅して、飛行計画経路の下にある建造物の対地高度を建造物形状データベース162から読み出すように構成することもできる。これによって、飛行計画経路の直下にはない建造物における近接箇所を適切に特定することができる。
近接箇所を回避するように飛行計画経路を修正するステップ(ステップS107)は、より具体的には以下のようなステップで実行することができる。図10は、飛行計画経路設定システム100における、飛行計画経路を修正する際のより具体的な動作フロー図である。ユーザは、近接箇所を回避するために、水平方向で行うか垂直方向で行うかを設定し、飛行計画経路を自動的に修正する際の回避の方向を決定させることができる(ステップS107a)。飛行計画経路修正モジュール110m5は、回避の方向が水平面に設定されている場合、飛行計画経路が近接箇所を水平面で迂回するように、飛行計画経路を修正する(ステップS107b)。修正は、例えば、近接箇所に最も近いウェイポイントを近接箇所の反対方向に水平面で移動させて、飛行計画経路と近接箇所との間の距離が安全距離以上となるようにすることなどによって行うことができる。飛行計画経路修正モジュール110m5は、回避の方向が垂直面に設定されている場合、飛行計画経路が近接箇所を垂直面で回避するように、飛行計画経路を修正する(ステップS107c)。修正は、例えば、近接箇所に最も近いウェイポイントを近接箇所の上方に移動させて、飛行計画経路と近接箇所との間の距離が安全距離以上となるようにすることなどによって行うことができる。その際、飛行計画経路修正モジュール110m5は、好適には、修正後の飛行計画経路が制限高度を超えないことを確認しており、近接箇所をその上方で回避しようとすれば飛行計画経路が所定の制限高度(制限となる対地高度)を超えることになる場合は、飛行計画経路が所定の制限高度を超えないように近接箇所を水平面で迂回するように飛行計画経路を修正する(ステップS107d)。この場合、修正しようとする飛行計画経路の高さが制限高度に達したときに、その高さは制限高度のままにして、水平方向に飛行計画経路を修正して安全距離を確保するようにすればよい。
上述のように、無人航空機の水平面の飛行予定経路を入力することによって、三次元の飛行計画経路を設定することができ、また、障害となる建造物などの存在物を迂回するように飛行計画経路を自動的に修正することができる。
飛行計画経路設定システムの動作−飛行計画経路の確認
図11は、飛行計画経路設定システム100における、飛行計画経路を三次元表示する際の動作フロー図である。設定された飛行計画経路は、無人航空機200に転送することになるが、その転送前に確認することが可能である。地理情報三次元表示モジュール110m6は、飛行計画経路を三次元で画面に表示させる(ステップS108)。典型的には、地理情報三次元表示モジュール110m6は、設定された飛行計画経路データ110d1を読み出し、その三次元データを、地理データに基づいた地形の表示が可能な地理情報三次元表示プログラムに渡すことで三次元表示を実行させる。図14の飛行計画ソフトウェアPF−Stationのメイン画面において、ルートレビューボタン302を選択することにより、飛行計画経路の確認のための画面(図示せず)を表示させることができる。確認画面では、飛行計画経路の確認のために、飛行計画経路は飛行領域と共に三次元表示される。図17は、飛行領域及び飛行計画経路を三次元表示した画面のイメージ図である。図17では、飛行計画経路320が、飛行領域と共に三次元で表示されている。ユーザから飛行計画経路のレビューの指示がなされると、地理情報三次元表示モジュール110m6は、設定された飛行計画経路データ110d1を読み出し、それに含まれる飛行計画経路を定めるウェイポイントの集合のデータを地理情報三次元表示プログラムが読み込むことができるデータ形式に変換し、そのデータを伴う地理情報三次元表示の要求を同じプラットフォームで実行されている地理情報三次元表示プログラムに送る。地理情報三次元表示プログラムは、飛行計画経路の座標を解釈し、それを含む飛行領域の地形データをデータベースサーバ150に要求する。データベースサーバ150は、要求された地形データを地理データベース161から取得し、地理情報三次元表示モジュール110m6に送信する。ここで、好適には、データベースサーバ150は、飛行領域に存在する建造物の形状データも建造物形状データベース162から取得し、地理情報三次元表示モジュール110m6に送信する。地理情報三次元表示モジュール110m6は、飛行領域の地形データや飛行領域に存在する建造物の形状データ、及び飛行計画経路データ110d1に基づき、飛行領域、建造物、及び飛行計画経路を三次元で描画し、ディスプレイに表示させる。三次元表示は、好適には透視図法によるものである。また、飛行計画経路は、それを上辺部とする地面に垂直な面の集合を透視図法で表示させて屏風状の形状で表示させると好適である。このように表示することによって、飛行計画経路が飛行領域や建造物とどのような位置関係になるのかが一目瞭然となる。図18は、飛行領域、建造物及び飛行計画経路を三次元表示した画面のイメージ図である。図18では、飛行計画経路321が、飛行領域及び建造物と共に三次元で表示されている。
地理情報三次元表示モジュール110m6は、上述のように、独立した地理情報三次元表示プログラムを使用することによって三次元表示を実現しているが、この地理情報三次元表示プログラムの一部あるいは全部が飛行計画ソフトウェアに含まれていてもよい。
飛行計画経路の三次元表示において、近接箇所を同時に表示すること可能である。地理情報三次元表示モジュール110m6は、近接箇所を飛行計画経路に重ね合わせて表示させる(ステップS109)。ステップS105で飛行計画経路上のある位置からの近接箇所の距離及び方位などの位置データが記憶されている場合、地理情報三次元表示モジュール110m6はそれを読み出し、近接箇所の位置データを地理情報三次元表示プログラムに送り、建造物上の近接箇所を他と区別できる形態(例えば、赤色)で表示させる。近接箇所に対応する飛行計画経路も、好適には他と区別できる形態(例えば、赤色)で表示される。
飛行計画経路設定システムの動作−無人航空機200の飛行
図12は、飛行計画経路設定システムにおける、無人航空機が飛行する際の動作フロー図である。上記のように、飛行計画経路の設定の後に、飛行計画経路の確認することで、適切な飛行計画経路を作成することができる。作成された飛行計画経路は、無人航空機200に転送して飛行計画経路データ210d1として記憶させ、無人航空機200をそれに従って飛行させることができる。図14の飛行計画ソフトウェアPF−Stationのメイン画面において、フライトモニターボタン303を選択することにより、飛行計画経路の無人航空機200への転送や、無人航空機200の飛行中のモニタのための画面(図示せず)を表示させることができる。飛行計画経路設定システム100は、飛行計画経路データ110d1を読み出し、外部インターフェイスIF112に接続された通信ユニットを介して、無人航空機200に送信する(ステップS201)。無人航空機200は、送信された飛行計画経路データ110d1をアンテナ209及び通信回路211を通じて受信し、飛行計画経路データ210d1として保存する。無人航空機200においては、飛行制御プログラム210pが主演算回路210cによって実行させることにより、自律飛行制御機能が実行される。自律飛行制御機能は、飛行計画経路データ210d1を読み出し、それによって定められる飛行計画経路を飛行するように無人航空機200を制御する。飛行計画経路データ210d1は好適には飛行速度のデータを含んでおり、無人航空機200は、その飛行速度で飛行計画経路に沿って飛行するように制御される。自律飛行制御機能は、飛行時に、ユーザからの手動の操作を受け付けて非自律飛行を実行させてもよい。この場合、飛行計画経路はガイド用として使用することになる。
無人航空機200は、飛行時にビデオカメラ206により、周囲の映像を撮影し、それを映像データ210d3として記録する。また、無人航空機200は、飛行時の位置や速度などをGPS受信機などのセンサ207によって取得し、そのようなテレメトリデータを飛行記録データ210d2として記録する。映像データは、撮影位置のデータと対応付けられており、どの位置で撮影された映像なのかが特定できるようになっている。無人航空機200は、飛行中の位置や速度などのテレメトリデータをリアルタイムで飛行計画経路設定システム100に送信すると好適である。無人航空機200は、飛行中に飛行計画経路から逸脱して建造物などの障害物に所定の距離以内に接近した際に、それをセンサ207で検出し、その接近状況をテレメトリデータに含めて飛行計画経路設定システム100に送信したり、飛行記録データ210d2に含めて記憶したりするように構成することもできる。その際に使用するセンサ207としては、距離センサ(超音波式、レーダー式など)が好適である。例えば、無人航空機200は、実際の飛行経路において、建造物との間の距離が所定の距離以内となる飛行位置があった場合は、飛行計画経路からの逸脱の有無にかかわらず、テレメトリデータにその距離や警告情報を含めることや、その時の飛行位置を飛行記録データ210d2に含めて記憶するように構成することもできる。
飛行計画経路設定システム100は、飛行中の無人航空機200からテレメトリデータを受信し、飛行記録データ110d2として記憶する(ステップS202)。そして、飛行計画経路設定システム100は、受信したテレメトリデータに基づいて、無人航空機200の現在位置や、テレメトリデータの数値を表示する(ステップS203)。無人航空機200の現在位置は、実際の飛行経路を写真地図上で表示させ、その上に重ねて表示させると好適である。その際に、飛行計画経路を三次元表示させてもよい。また、飛行計画経路設定システム100は、受信したテレメトリデータに、無人航空機200が建造物などの障害物に所定の距離以内に接近したという情報が含まれている場合は、それを警告として表示すると好適である。
無人航空機200は、ビデオカメラ206によって撮影された映像データをリアルタイムで飛行計画経路設定システム100に送信してもよい。飛行計画経路設定システム100は、受信した映像データを、その撮影位置と共にリアルタイムで表示するように構成することができる。これにより、ビデオカメラ206である対象を監視するときに、その状況をリアルタイムに知ることができる。また、映像データを、非自律飛行を実行させるときに、飛行のためのガイドとして使用することもできる。無人航空機200は、飛行計画経路設定システム100や操作端末からの電波が届かない領域において自律飛行してもよい。その間のテレメトリデータは、電波が届く範囲に無人航空機200が戻ってきた際に、飛行計画経路設定システム100に送信するとよい。
無人航空機200は、飛行終了後に、映像データ210d3を飛行計画経路設定システム100に送信し、飛行計画経路設定システム100はそれを受信して映像データ110d3として記憶する(ステップS204)。映像データ210d3は、SDカード(登録商標)のような媒体を使って無人航空機200から飛行計画経路設定システム100に渡されてもよい。また、無人航空機200は、テレメトリデータをリアルタイムで送信しなかった場合は、飛行終了後に飛行記録データ210d2を飛行計画経路設定システム100に送信し、それを飛行記録データ110d2として記憶させる。
飛行計画経路設定システムの動作−飛行記録の確認
無人航空機200の飛行が終わった後は、飛行計画経路設定システム100はその飛行状況を確認するための動作を実行することが出来る。図14の飛行計画ソフトウェアPF−Stationのメイン画面において、フライトレビューボタン304を選択することにより、飛行状況の確認のための画面(図示せず)を表示させることができる。
図13は、飛行計画経路設定システム100における、無人航空機の実際の飛行経路を確認する際の動作フロー図である。映像データ再生モジュール110m7は、無人航空機200のビデオカメラ206で撮影された無人飛行中の外部の映像のデータを取得する(ステップS301)。具体的には、無人航空機200が飛行中にビデオカメラ206で撮影して映像データ110d3として記憶した飛行中の外部の映像のデータは、飛行完了後に通信回路等を通じて飛行計画経路設定システム100に受信されて映像データ110d3として記憶されており、映像データ再生モジュール110m7はそれから映像データを取得する。次に、映像データ再生モジュール110m7は、無人航空機200の実際の飛行経路のデータを取得する(ステップS302)。具体的には、無人航空機200が飛行中に通信回路等を通じて送信してきたテレメトリデータは、飛行計画経路設定システム100に受信されて飛行記録データ110d1として記憶されており、映像データ再生モジュール110m7はそれからテレメトリデータを取得する。次に、映像データ再生モジュール110m7は、外部の映像のデータを、それが無人航空機200によって撮影された位置を示しながら再生する(ステップS303)。映像データ再生モジュール110m7は、映像データを再生して映像を表示させると共に、飛行記録データ110d1からその映像が撮影された時刻における撮影位置を特定し、飛行領域における撮影位置を表示する。このようにして、無人航空機200で撮影された飛行中の外部の映像のデータを取得し、無人航空機200の実際の飛行経路のデータを取得し、外部の映像のデータを、それが無人航空機200によって撮影された位置を示しながら再生することができる。なお、飛行中の外部の映像のデータ及び飛行位置を飛行中にリアルタイムで取得して、その映像のデータを、撮影された位置を示しながら再生するように構成することも可能である。この場合、ステップS203では、飛行計画経路設定システム100は、受信したテレメトリデータに基づいて、無人航空機200の現在位置や、テレメトリデータの数値をリアルタイムで表示し、ステップS204では、無人航空機200は、飛行中に、映像データ210d3を飛行計画経路設定システム100に送信し、飛行計画経路設定システム100はそれを受信して映像をリアルタイムに表示するように構成するとよい。図19は、撮影位置を示しながら映像データを再生する画面のイメージ図である。図19では、映像332が再生されて表示されるとともに、その映像を撮影した時の無人航空機200の撮影位置331が写真地図上に表示されている。このようにして、実際の撮影位置を写真地図などの上で確認しながら、撮影された映像を確認することが可能である。
本発明は、物流、農業、空撮等、任意の用途に用いられる任意の無人航空機の飛行計画経路の設定・確認及び飛行記録の確認をするために利用することが可能である。
100 飛行計画経路設定システム
110 情報処理部
110c 主演算回路
110p1 飛行計画経路設定プログラム
110p2 飛行レビュープログラム
110p3 地理情報三次元表示プログラム
110d1 飛行計画経路データ
110d2 飛行記録データ
110d3 映像データ
110m1 水平面位置データ入力モジュール
110m2 高さ基準値入力モジュール
110m3 飛行計画経路高度決定モジュール
110m4 近接箇所特定モジュール
110m5 飛行計画経路修正モジュール
110m6 地理情報三次元表示モジュール
110m7 映像データ再生モジュール
111 ネットワークインターフェイス(IF)
112 外部インターフェイス(IF)
150 データベースサーバ
160 情報処理部
161 地理データベース
162 建造物形状データベース
163 ネットワークインターフェイス(IF)
160c 主演算回路
160p データ提供プログラム
161 地理データベース
162 建造物形状データベース
200 無人航空機
201 制御ユニット
202 モータ
203 ロータ
206 ビデオカメラ
207 センサ
209 アンテナ
210 情報処理ユニット
210c 主演算回路
210p 飛行制御プログラム
210d1 飛行計画経路データ
210d2 飛行記録データ
210d3 映像データ
211 通信回路
212 制御信号生成部
213 スピードコントローラ

Claims (12)

  1. 無人航空機の三次元の飛行計画経路を設定するためのシステムであって、
    前記無人航空機の水平面の飛行予定経路を表わすデータを前記飛行計画経路の水平面のデータとして入力する水平面位置データ入力部と、
    前記飛行計画経路上の複数の位置のそれぞれの下にある地面の標高を表す高さ基準値を地理データベースから読み出して取得する高さ基準値入力部と、
    前記地面上のいずれかの存在物において、前記飛行計画経路からの距離が所定の安全距離以内となるような近接箇所を特定する近接箇所特定部と
    前記位置に対応する飛行高度を前記高さ基準値に加算した値を前記飛行計画経路の高度のデータとして定める飛行計画経路高度決定部と、
    を含み、
    前記近接箇所特定部は、
    前記飛行計画経路を所定の幅で拡幅して前記飛行計画経路の下にある建造物の対地高度を建造物形状データベースから読み出し、
    前記建造物において、前記建造物の上にある前記飛行計画経路の部分の対地高度から前記建造物の前記対地高度を減じた高度差が所定の安全距離以内となるところを前記近接箇所として特定する、ことを特徴とするシステム。
  2. 前記近接箇所特定部は、さらに、前記特定された近接箇所に対応する前記飛行計画経路上の位置から前記特定された近接箇所までの距離及び方位を出力する、ものである
    請求項に記載のシステム。
  3. 前記近接箇所特定部は、前記近接箇所が特定された場合に警告を発する、ものである、
    請求項1又は2に記載のシステム。
  4. 前記近接箇所特定部で前記近接箇所が特定された場合に、前記近接箇所を回避するように前記飛行計画経路を修正する飛行計画経路修正部、
    をさらに含む請求項1から3のいずれか1項に記載のシステム。
  5. 前記飛行計画経路修正部は、前記近接箇所特定部で前記近接箇所が特定された場合に、前記飛行計画経路と前記近接箇所の間の距離が前記安全距離以上になるように前記飛行計画経路を自動的に修正する、ものである
    請求項に記載のシステム。
  6. 前記飛行計画経路修正部は、前記近接箇所特定部で前記近接箇所が特定された場合に、前記近接箇所を水平面で迂回するように前記飛行計画経路を修正する、ものである
    請求項又はに記載のシステム。
  7. 前記飛行計画経路修正部は、前記近接箇所特定部で前記近接箇所が特定された場合に、前記近接箇所をその上方で回避するように前記飛行計画経路を修正する、ものである
    請求項又はに記載のシステム。
  8. 前記飛行計画経路修正部は、前記近接箇所をその上方で回避しようとする際に前記飛行計画経路が所定の制限高度を超える場合は、前記飛行計画経路が前記所定の制限高度を超えないように前記近接箇所を水平面で迂回するように前記飛行計画経路を修正する、ものである
    請求項に記載のシステム。
  9. 前記飛行計画経路を三次元で画面に表示させる三次元表示部、
    をさらに含む請求項からのいずれか1項に記載のシステム。
  10. 前記三次元表示部は、前記近接箇所をさらに重ね合わせて表示させる、ものである、
    請求項に記載のシステム。
  11. 前記無人航空機で撮影された飛行中の外部の映像のデータを取得し、前記無人航空機の実際の飛行経路のデータを取得し、前記外部の映像のデータを、それが前記無人航空機によって撮影された位置を示しながら再生する映像データ再生部、
    をさらに含む請求項又は10に記載のシステム。
  12. コンピュータで実行されたときに、請求項1から11のいずれか1項に記載のシステムを実現するコンピュータプログラム。
JP2018516097A 2017-10-17 2017-10-17 無人航空機の飛行計画経路を設定するためのシステム及びプログラム Active JP6349481B1 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2017/037563 WO2019077682A1 (ja) 2017-10-17 2017-10-17 無人航空機の飛行計画経路を設定するためのシステム及びプログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2018062591A Division JP2019075075A (ja) 2018-03-28 2018-03-28 無人航空機の飛行計画経路を設定するためのシステム及びプログラム

Publications (2)

Publication Number Publication Date
JP6349481B1 true JP6349481B1 (ja) 2018-06-27
JPWO2019077682A1 JPWO2019077682A1 (ja) 2019-11-14

Family

ID=62706304

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018516097A Active JP6349481B1 (ja) 2017-10-17 2017-10-17 無人航空機の飛行計画経路を設定するためのシステム及びプログラム

Country Status (4)

Country Link
US (1) US20200342770A1 (ja)
JP (1) JP6349481B1 (ja)
SG (1) SG11202003468PA (ja)
WO (1) WO2019077682A1 (ja)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111196365A (zh) * 2020-01-20 2020-05-26 北京京邦达贸易有限公司 无人机的支架及无人机
JP2020080089A (ja) * 2018-11-14 2020-05-28 エヌ・ティ・ティ・コムウェア株式会社 情報表示システム、情報表示方法及び情報表示プログラム
CN111917449A (zh) * 2019-05-08 2020-11-10 丰鸟航空科技有限公司 一种外场无人机***及数据传输方法
WO2021187110A1 (ja) * 2020-03-18 2021-09-23 ソニーグループ株式会社 移動体、情報処理装置、情報処理方法、及びプログラム
TWI744593B (zh) * 2018-01-08 2021-11-01 經緯航太科技股份有限公司 定翼機操作系統及其方法
JP2022518118A (ja) * 2019-01-08 2022-03-14 スージョウ イーエーヴィジョン ロボティック テクノロジーズ カンパニー リミテッド 航空機作業経路計画方法、制御装置及び制御機器
WO2022193192A1 (zh) * 2021-03-17 2022-09-22 深圳市大疆创新科技有限公司 无人机调度方法、服务器、基站、***及可读存储介质
JP2023015381A (ja) * 2018-10-19 2023-01-31 アンドゥリル・インダストリーズ・インコーポレーテッド 衝撃に強い自律型ヘリコプタプラットフォーム

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA3106457A1 (en) * 2018-07-17 2020-01-23 Emesent IP Pty Ltd Method for exploration and mapping using an aerial vehicle
EP3995396A4 (en) * 2019-07-05 2022-08-31 Sony Group Corporation INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING METHOD, PROGRAM, AND INFORMATION PROCESSING SYSTEM
JP7016081B2 (ja) * 2019-12-11 2022-02-04 株式会社Acsl 無人航空機の飛行計画経路を修正するためのシステム、方法、プログラム及びプログラムを記憶した記憶媒体
DE102020105793A1 (de) * 2020-03-04 2021-09-09 Volocopter Gmbh Bahnplanungsverfahren und Bahnplanungsalgorithmus für ein Fluggerät
US11804052B2 (en) * 2020-03-26 2023-10-31 Seiko Epson Corporation Method for setting target flight path of aircraft, target flight path setting system, and program for setting target flight path
JPWO2021192220A1 (ja) * 2020-03-27 2021-09-30
EP4166910A1 (en) * 2021-10-12 2023-04-19 Honeywell International Inc. Methods and systems for providing contextual building height information to aircraft operators
US12033525B2 (en) 2021-10-12 2024-07-09 Honeywell International Inc. Method and systems for providing contextual building height information to aircraft operators

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017501484A (ja) * 2014-09-05 2017-01-12 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドSz Dji Technology Co.,Ltd ある環境内で可動物体を制御する方法、ある環境内で可動物体を制御するシステム、ある環境内で無人航空機を制御する方法、及び、ある環境内で無人航空機を制御するシステム
JP2017067834A (ja) * 2015-09-28 2017-04-06 株式会社オプティム 無人航空機の撮像画像表示装置、撮像画像表示方法、および撮像画像表示プログラム
JP6138326B1 (ja) * 2016-08-05 2017-05-31 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドSz Dji Technology Co.,Ltd 移動体、移動体の制御方法、移動体を制御するプログラム、制御システム、及び情報処理装置
JP2017117018A (ja) * 2015-12-21 2017-06-29 凸版印刷株式会社 無人小型航空機飛行ルート設定・登録システム及び方法
JP2017182188A (ja) * 2016-03-28 2017-10-05 株式会社ダイヘン 移動体配置装置

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6107409B2 (ja) * 2013-05-21 2017-04-05 富士ゼロックス株式会社 位置特定処理装置及び位置特定処理プログラム
US9719785B2 (en) * 2015-01-21 2017-08-01 Honeywell International Inc. Methods and systems for route-based display of meteorological forecast information
JP2016134090A (ja) * 2015-01-21 2016-07-25 株式会社東芝 画像処理装置及びそれを用いた運転支援システム
WO2018020303A1 (en) * 2016-07-26 2018-02-01 Milian International Solutions Limited System and method for 3d flight path display

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017501484A (ja) * 2014-09-05 2017-01-12 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドSz Dji Technology Co.,Ltd ある環境内で可動物体を制御する方法、ある環境内で可動物体を制御するシステム、ある環境内で無人航空機を制御する方法、及び、ある環境内で無人航空機を制御するシステム
JP2017067834A (ja) * 2015-09-28 2017-04-06 株式会社オプティム 無人航空機の撮像画像表示装置、撮像画像表示方法、および撮像画像表示プログラム
JP2017117018A (ja) * 2015-12-21 2017-06-29 凸版印刷株式会社 無人小型航空機飛行ルート設定・登録システム及び方法
JP2017182188A (ja) * 2016-03-28 2017-10-05 株式会社ダイヘン 移動体配置装置
JP6138326B1 (ja) * 2016-08-05 2017-05-31 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドSz Dji Technology Co.,Ltd 移動体、移動体の制御方法、移動体を制御するプログラム、制御システム、及び情報処理装置

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI744593B (zh) * 2018-01-08 2021-11-01 經緯航太科技股份有限公司 定翼機操作系統及其方法
JP2023015381A (ja) * 2018-10-19 2023-01-31 アンドゥリル・インダストリーズ・インコーポレーテッド 衝撃に強い自律型ヘリコプタプラットフォーム
US11721222B2 (en) 2018-10-19 2023-08-08 Anduril Industries, Inc. Ruggedized autonomous helicopter platform
JP2020080089A (ja) * 2018-11-14 2020-05-28 エヌ・ティ・ティ・コムウェア株式会社 情報表示システム、情報表示方法及び情報表示プログラム
JP7195117B2 (ja) 2018-11-14 2022-12-23 エヌ・ティ・ティ・コムウェア株式会社 情報表示システム、情報表示方法及び情報表示プログラム
JP2022518118A (ja) * 2019-01-08 2022-03-14 スージョウ イーエーヴィジョン ロボティック テクノロジーズ カンパニー リミテッド 航空機作業経路計画方法、制御装置及び制御機器
JP7260205B2 (ja) 2019-01-08 2023-04-18 スージョウ イーエーヴィジョン ロボティック テクノロジーズ カンパニー リミテッド 制御機器及び制御装置
CN111917449A (zh) * 2019-05-08 2020-11-10 丰鸟航空科技有限公司 一种外场无人机***及数据传输方法
CN111196365A (zh) * 2020-01-20 2020-05-26 北京京邦达贸易有限公司 无人机的支架及无人机
CN111196365B (zh) * 2020-01-20 2021-09-17 北京京邦达贸易有限公司 无人机的支架及无人机
WO2021187110A1 (ja) * 2020-03-18 2021-09-23 ソニーグループ株式会社 移動体、情報処理装置、情報処理方法、及びプログラム
WO2022193192A1 (zh) * 2021-03-17 2022-09-22 深圳市大疆创新科技有限公司 无人机调度方法、服务器、基站、***及可读存储介质

Also Published As

Publication number Publication date
JPWO2019077682A1 (ja) 2019-11-14
WO2019077682A1 (ja) 2019-04-25
US20200342770A1 (en) 2020-10-29
SG11202003468PA (en) 2020-05-28

Similar Documents

Publication Publication Date Title
JP6349481B1 (ja) 無人航空機の飛行計画経路を設定するためのシステム及びプログラム
US20220234733A1 (en) Aerial Vehicle Smart Landing
AU2020289790B2 (en) Drop-off location planning for delivery vehicle
JP2019075075A (ja) 無人航空機の飛行計画経路を設定するためのシステム及びプログラム
JP6210522B2 (ja) 無人航空機の飛行制御方法、飛行データ処理方法、無人航空機、およびサーバ
US20180149138A1 (en) Aerial inspection in a movable object environment
CN111766862B (zh) 避障控制方法、装置、电子设备和计算机可读存储介质
US20240086862A1 (en) System, devices and methods for tele-operated robotics
CN110362102B (zh) 一种无人机航线生成的方法、装置和***
US10891770B2 (en) Systems and methods for augmented reality video feed on an unmanned vehicle
JP5896931B2 (ja) 親子機能搭載ロボット
KR102366947B1 (ko) 라이다가 설치된 무인 비행체를 제어하는 방법 및 장치
WO2018045654A1 (zh) 显示可移动装置的状态的方法、***和控制装置
JP7031997B2 (ja) 飛行体システム、飛行体、位置測定方法、プログラム
WO2024108412A1 (zh) 备降位置的规划方法、降落平台及飞行器的控制方法、设备、***及介质
JP2020101391A (ja) 無人航空機システム
JP6694279B2 (ja) 経路教示装置、及び移動体
WO2023187891A1 (ja) 判定システム、及び判定方法
WO2023139628A1 (ja) エリア設定システム、及びエリア設定方法
SE2351480A1 (en) Robotic lawnmower system
EP3312560A1 (en) Method and system for indoor navigation
JP2022146888A (ja) 表示システム、通信システム、表示制御方法およびプログラム
JP2022146885A (ja) 表示装置、通信システム、表示制御方法およびプログラム
JP2022146887A (ja) 表示システム、通信システム、表示制御方法およびプログラム
CN114872051A (zh) 通行地图获取***、方法、机器人及计算机可读存储介质

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180327

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180327

A80 Written request to apply exceptions to lack of novelty of invention

Free format text: JAPANESE INTERMEDIATE CODE: A801

Effective date: 20180327

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20180327

A80 Written request to apply exceptions to lack of novelty of invention

Free format text: JAPANESE INTERMEDIATE CODE: A80

Effective date: 20180327

TRDD Decision of grant or rejection written
A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20180518

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180528

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180604

R150 Certificate of patent or registration of utility model

Ref document number: 6349481

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250